Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
核心事实
时间轴 (近 90 天)
提示注入（Prompt Injection）指屏幕上出现的文字或界面元素可能包含恶意指令，诱导AI执行非预期或危险操作
Computer Use每一轮观察-推理-行动涉及截图、模型推理、操作执行等步骤，整体延迟远高于直接的API调用
Computer Use的可靠性不足，UI操作容错空间小，按钮位置偏移或误点击可能导致整个任务链条崩溃
API调用适合高频、标准化、对可靠性要求极高的任务，Computer Use填补了没有API可用的空白地带
Computer Use的核心优势在于通用性和灵活性，不需要为每个应用单独开发API接口，只要软件有图形界面AI理论上就能操作
Computer Use的运行机制是观察（Observe）→推理（Reason）→行动（Act）→再观察的持续反馈闭环
Computer Use与API工具调用很可能长期共存、各司其职，有成熟API的服务仍以工具调用为首选，Computer Use处理无接口可依的长尾场景
轩瑞认为随着 GPT-6 Astra 等模型对 Computer Use 能力的大幅优化，自动操作软件制作视频的实现效果会越来越好
Creator 利用 QwenPaw 的 Browser Use 和 Computer Use 基建，让 Agent 能自动操作软件、截图或录屏以制作教学演示视频
Agent 运行器绝不能复用员工日常的浏览器和桌面，而要使用临时容器、专用虚拟机或受控远程桌面
还有 40 条时间轴事件
全部知识事实 (20)
OpenAI的Operator项目专注于浏览器自动化操作
90%已验证Anthropic的Computer Use功能允许Claude模型直接操控整个计算机桌面环境，包括移动鼠标、点击按钮和输入文字
90%已验证Computer Use是一项允许AI模型通过截屏识别屏幕内容并模拟鼠标点击、键盘输入来直接控制计算机界面的能力
90%已验证Anthropic于2024年率先在Claude中推出Computer Use功能
90%已验证AI从通用对话模型向专业智能助理的演进路径依次经历：听懂人话→持续对话→引用私有数据→调用工具→自主规划→遵守规则→安全可控
80%已验证Anthropic推出了Computer Use功能让AI直接操作桌面应用
80%已验证OpenAI的Operator和Google的Project Mariner也在探索AI操控计算机的类似路径
80%已验证2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
75%已验证Computer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
70%已验证当前AI智能体操作网页主要依赖两种技术路径：计算机视觉（将页面截图输入多模态大模型识别UI元素）和DOM解析（读取HTML结构树推断元素功能）
65%已验证OpenAI 的 Function Calling、Anthropic Claude 的 Tool Use 是 Agent 模式的代表性实现
65%已验证Computer Use通过多模态大模型直接查看屏幕截图来理解界面布局和内容语义，与传统RPA依赖预定义规则和固定UI元素定位的方式有本质区别
65%已验证Anthropic在2024年率先发布了Claude Computer Use功能，Google也推出了Project Mariner
65%待验证AI自动填表将用户角色从高认知负担的内容生成者转变为低负担的内容审核者
85%待验证AI桌面代理领域正从API集成走向GUI操作的趋势
75%待验证Computer Use类技术在学术界被归类为GUI Agent（图形界面智能体）
60%待验证Computer Use的核心优势在于通用性和灵活性，不需要为每个应用单独开发API接口，只要软件有图形界面AI理论上就能操作
50%待验证Computer Use的运行机制是观察（Observe）→推理（Reason）→行动（Act）→再观察的持续反馈闭环
50%待验证API调用适合高频、标准化、对可靠性要求极高的任务，Computer Use填补了没有API可用的空白地带
50%待验证Computer Use的可靠性不足，UI操作容错空间小，按钮位置偏移或误点击可能导致整个任务链条崩溃
50%