计算机使用代理

社区讨论的常见倾向是：低风险、重复性高、结果可快速核验的任务（如整理相册、填写表单、比价与下单、消息草拟与发送）最容易获得授权。

涉及资金转移、身份验证、私密内容外发的操作，几乎所有人都会要求保留最终确认权。

一位Reddit网友正在开发一个面向Mac的计算机使用代理，完全依靠模拟点击和键盘输入完成任务，不依赖API或插件。

该团队已经把计算机使用代理跑通了手机端，而且速度相当快。

该代理最受欢迎的演示是在MS Paint中画画，用户口头描述画面内容，代理通过模拟点击和键盘输入完成操作。

计算机使用代理的劣势包括：每一步操作建立在视觉识别和推理之上，长任务链条中误差会逐步累积，且行为难以被精确预测或审计。

iOS对后台执行和屏幕录制的限制，使得计算机使用代理难以在用户不感知的情况下持续运行。

在计算机使用代理的敏感场景中，系统必须具备操作回放、关键步骤确认等安全机制。

在计算机使用代理的执行顺序中，应树优先（列出有名称、角色和位置的交互元素），文本其次（树无标签时对窗口做OCR匹配可见文本），截图最后（用于画布、无名称图标或页面校验）。

Computer Use 能力指 Agent 能像人类一样操控计算机界面（点击、输入、截图、滚动），需要模型具备视觉理解和动作序列规划能力

一位开发者在Reddit分享：他们的计算机使用代理运行桌面应用UI回归两个月，上周将结账流程标记为通过，但实际支付步骤弹出了模态框，代理关闭后看到早期运行的残留确认屏幕便认定订单已完成，该误报持续三天未被察觉。

手机端代理的普及速度不会取决于点击有多快，而取决于授权粒度有多细。