← AI 术语表

AI 术语表 · 基础 · 智能体

计算机使用

计算机使用是指 AI 像人一样看屏幕、点击鼠标或用键盘输入,直接操作计算机程序的能力。它的特点是连没有专用接口(API)的程序也能操作。

关于这个术语
难度
基础 · AI 新闻中常见的技术术语
领域
智能体
加入时间
2026-10-08
通俗解释 这类似于远程支持客服一边看着你的电脑屏幕,一边替你移动鼠标修改设置。不过 AI 有时比人慢,也可能读错屏幕内容。

工作原理

用户说明要做的事后,AI 智能体会截取当前屏幕的截图,交给多模态模型查看。模型识别屏幕上的按钮和输入框,决定“点击哪里、输入什么”。执行这个动作后,再截取变化后的屏幕进行确认,并重复这一过程直到任务完成。

计算机使用智能体的循环用户指令 → 屏幕截取; 屏幕截取 → 模型判断; 模型判断 → 执行动作; 执行动作 → 屏幕截取(再次确认); 模型判断 → 任务完成(完成后)用户指令屏幕截取截图模型判断确定点击·输入位置执行动作点击 · 键盘输入任务完成再次确认完成后
计算机使用智能体的循环 截取屏幕、由模型决定下一个动作、执行后再次检查屏幕,这一循环会一直重复到任务完成。

为什么重要

以往的工具使用需要开发者事先做好 API,而计算机使用只要有人用的界面,就能操作大多数程序。它可以用来自动化老旧的企业内部系统、网站表单填写,以及在多个程序之间来回切换的重复性工作。因此,它被视为 AI 智能体承担实际工作的一项重要能力。

注意事项

由于要看着屏幕一步一步操作,它比调用 API 的方式慢,中途也可能点错。还存在提示注入风险,即网页中隐藏的恶意文字欺骗 AI。因此,付款、删除等难以撤回的操作通常需要人工确认,并且常在隔离环境中运行。

示例

本站报道过的消息中,有 OpenAI 与 Ironclad 合作,利用合同业务工作流训练和评估计算机使用智能体的内容。像这样,合同审查、文档处理等需要在多个界面之间切换的实际工作,被视为计算机使用智能体的典型应用场景。多家 AI 公司也在推出代替用户操作浏览器或桌面的智能体功能。

本站出现过的地方

相关术语