[控场AI]
· 4 分钟阅读· 2,124 字

Sai:会像人一样操作电脑的自主智能体军团

Sai:会像人一样操作电脑的自主智能体军团

Sai是通过读屏点击操作电脑界面的GUI智能体,无需API即可自动化遗留系统,OSWorld得分73%。

Sai是一款以"机器人秘书"为定位的AI自动化产品,其核心技术路线是绕过API、直接模拟人类操作图形界面——读取屏幕、点击按钮、填写表单,因此能覆盖大量无API可调用的老旧桌面应用和企业内部系统。产品采用"计算机编队"架构,支持任务并行分发到多台机器,同时兼容Windows、macOS和Linux三大系统。在OSWorld行业基准测试中取得73%的成绩,处于当前同类产品领先水平。Sai登上Product Hunt当日榜单第3位,体现出市场对"能真正干活"的AI智能体的明确需求。但作者也指出,基准分数不等于生产环境即插即用,安全性、错误回滚、界面改版适配等挑战仍需正视,产品能否从演示走向可信赖的生产工具还有待验证。

Sai是什么:不靠API的电脑操作智能体

Sai在Product Hunt上以"世界首个机器人秘书"的定位登场,主打一个大胆的理念——它不是调用软件的API来完成任务,而是像真人一样直接操作电脑界面。读取屏幕、点击按钮、在表单里输入内容,这套交互逻辑决定了它能覆盖的场景远超传统的自动化工具。

Sai: The autonomous computer fleet at your command

产品的核心卖点在于"a fleet of autonomous computers"——一支由多台自主运行的计算机组成的编队,替用户处理没完没了的屏幕操作工作。这种"军团式"的设计意味着任务可以并行分发到多台机器上执行,而非单机串行处理,这对需要批量重复操作的工作流有实际价值。

为什么"读屏点击"这条路线值得关注

大多数自动化工具依赖软件开放的API接口。但现实里有大量软件根本没有API:老旧的桌面应用、企业内部门户、藏在登录页背后的各种系统。这些恰恰是企业日常操作中最繁琐、最难自动化的部分。

Sai选择的技术路线绕开了这个限制。它被训练成直接与计算机图形界面交互——GUI层面的操作,不关心底层是否有编程接口。据其介绍,Sai同时支持Windows、macOS和Linux三大操作系统,这在同类产品中覆盖面相当宽。对于那些被遗留系统绑住手脚的团队来说,这种"接口无关"的自动化能力理论上能打开不少此前无法触及的场景。

这种技术路线在学术和工业界通常被称为"计算机使用智能体"(Computer Use Agent)或"GUI智能体"。其底层实现依赖多模态大语言模型——模型将截图作为视觉输入,理解当前界面状态后输出鼠标坐标、键盘输入等具体操作指令。Anthropic在2024年发布的Claude Computer Use是较早引发行业关注的同类能力演示,此后OpenAI Operator、Google Project Mariner等产品也相继跟进,标志着这条技术路线正从实验阶段向产品化阶段演进。与基于API的RPA(机器人流程自动化)相比,GUI智能体的脆弱性主要体现在界面依赖上:一旦目标软件更新了按钮位置或页面布局,智能体的视觉定位逻辑可能失效,需要重新适配。这也是这类产品在生产环境稳定性方面面临的核心工程挑战。

73% OSWorld:一个需要理性看待的成绩

Sai在页面上给出的关键性能指标是OSWorld基准测试73%的成绩。OSWorld是评估智能体在真实操作系统环境中完成任务能力的行业基准,考验的是模型在开放桌面环境下的实际操作水平——涉及文件管理、应用操作、跨软件协同等复杂任务。

73%在当前的计算机操作类智能体中属于领先水平,但也要客观看待:这类基准的满分离"完全可靠"还有距离,意味着仍有相当比例的任务无法一次性正确完成。对企业用户而言,把这类智能体接入关键业务流程前,需要对错误率、人工兜底机制有清晰预期。基准分数高不等于生产环境即插即用。

OSWorld是上海交通大学等机构联合发布的开放评测基准,包含在真实操作系统(Ubuntu、Windows、macOS)中执行的369个任务,涵盖Web浏览器、文件管理器、Office套件等多类软件。评测要求智能体在全交互式桌面环境中完成从头到尾的完整操作,最终以任务成功率(Task Success Rate)为指标。该基准在2024年发布时,最强基线模型成绩仅约12%,人类完成率约72%,这使得后续模型的快速提升格外引人关注。需要注意的是,基准分数反映的是标准化测试集上的表现,真实企业环境中的任务往往更加开放、界面更为多样,迁移效果存在不确定性。

产品定位与市场热度

Sai登上Product Hunt并冲到当日榜单第3位,收获191个投票和22条评论,被归类在Productivity(生产力)和Artificial Intelligence(人工智能)两个赛道。这个热度反映出市场对"能真正干活的AI智能体"有明确需求。

从"robosecretary(机器人秘书)"的自我定位看,Sai瞄准的是把人从重复性电脑操作中解放出来的场景:数据录入、跨系统信息搬运、表单填写、内部流程执行等。这些工作占据了大量知识工作者的时间,却又难以用传统脚本自动化,因为它们分散在各种没有API的软件里。

值得思考的几个问题

这类"操作电脑的AI"正在成为智能体赛道的一个重要方向。相比只会聊天的助手,能实际点击操作的智能体离"真正替人干活"更近一步。但也带来新的挑战:安全性如何保障(智能体拥有登录权限意味着更大的操作面)、错误操作如何回滚、面对界面改版时的稳定性怎样。

Sai目前展示的是一个有吸引力的愿景加上一个相对亮眼的基准成绩。对于关注AI自动化的团队,值得持续观察它在真实复杂环境中的可靠性表现,以及"计算机编队"这种并行架构能否在规模化任务中兑现效率承诺。它是否能从demo走向可信赖的生产工具,仍需时间验证。

分享:

相关推荐