Celesto开源库：让Computer-use智能体支持人工接管

当AI智能体遇上需要人类的时刻

计算机使用型智能体（Computer-use agents）正在重塑Web和应用测试的方式。一位开发者在Reddit上分享了他构建的开源项目Celesto——一个面向AI智能体的"计算机"，其核心卖点在于将现有的Web/App测试效率提升约10倍。

这类智能体的本质，是让AI能够像人一样操作浏览器和应用界面：点击按钮、填写表单、读取页面内容。但真正的痛点往往出现在登录与身份验证环节——AI无法轻易处理二次验证、验证码或需要人工判断的敏感登录流程。Celesto给出的答案是引入"人工接管"（human takeover）机制。

reddit source: Computer-use agents with human takeover

人工接管：智能体与人的无缝交接

人工接管的设计思路很务实：当智能体执行任务遇到需要登录或输入认证信息的场景时，把控制权临时交还给人类操作者。用户可以直接登录、输入密码或完成多因素验证，随后再让智能体接手继续自动化流程。

这一机制解决了纯自动化方案难以绕开的现实障碍。在真实的测试与自动化场景中，认证环节几乎无处不在，而完全绕过安全验证既不合规也不现实。让人类在关键节点介入，既保留了自动化的效率，又兼顾了安全与可控性。

值得关注的是，作者强调产品端使用的是同一套开源代码，区别仅在于产品端提供了更打磨过的UI/UX体验。这意味着开源版本并非阉割的"演示品"，而是与商业产品共享核心能力。

从技术实现角度看，人工接管（Human-in-the-loop）并非新概念，但在Computer-use智能体场景中落地有其特殊挑战。传统RPA（机器人流程自动化）工具通常通过预录制的操作脚本绕过登录，或依赖明文存储的凭据自动填充，这在合规性和安全性上存在明显隐患。而现代身份验证体系——如基于TOTP的双因素认证（Google Authenticator等）、短信验证码、硬件密钥（FIDO2/WebAuthn）——设计上就是为了抵抗自动化攻击，AI智能体几乎无法在不持有用户物理设备的前提下完成这些验证。人工接管机制的本质是在自动化流程中预留"断点"，将控制权通过远程桌面或会话共享的方式转交人类，待认证完成后再恢复自动化。这种设计在企业测试场景中尤其必要，因为测试环境往往与生产环境共享同一套SSO（单点登录）体系，无法简单禁用安全策略。

技术栈与集成方式

从作者披露的信息看，Celesto在开发者体验上考虑得比较周到：

多语言SDK支持

项目同时提供 Python 和 TypeScript 两种SDK，覆盖了后端自动化脚本与前端/Node生态的主流需求。开发者可以按照自己熟悉的语言栈快速接入。

SDK（软件开发工具包）的语言选择反映了目标用户群体的定位。Python在AI/ML工程师和测试自动化领域占据主导地位，pytest等测试框架生态成熟；TypeScript则覆盖了前端工程师和Node.js后端开发者，对于需要在CI/CD流水线中集成的团队（如使用Playwright或Puppeteer的项目）尤为友好。同时提供两套SDK意味着维护成本翻倍，但也表明项目希望兼顾这两类核心受众——这在定位为"测试基础设施"的工具中是合理的取舍，因为测试代码往往需要与项目主体语言保持一致。

实时可视化与调试

流式传输智能体显示画面：可以实时观看智能体在做什么，便于监控和调试；
通过 xterm 传输终端：终端输出同样可以流式呈现；
SSH 进入机器：开发者能够直接连入运行环境，进行深度排查。

这套组合让"黑盒"般的智能体行为变得透明可观测，对于排查失败用例、理解智能体决策路径尤为有用。

延迟优化是关键战场

作者主动提到愿意分享基础设施（infra）以及"如何优化延迟"的细节。这透露出一个信号：对于Computer-use智能体而言，延迟是决定实用性的核心指标。

智能体每一步操作都涉及截图采集、模型推理、动作执行的循环。如果单步延迟过高，整个任务链条会被显著拖慢，用户体验和测试效率都会打折扣。能否把画面流传输、远程操作、机器连接这些环节的延迟压到可接受范围，往往是这类工具能否落地的分水岭。

Computer-use智能体的延迟构成与传统API调用有本质差异。其核心循环通常包含四个环节：屏幕截图采集（将当前界面编码为图像）、多模态模型推理（视觉语言模型分析截图并输出下一步动作，如GPT-4o或Claude 3系列）、动作执行（通过模拟鼠标点击、键盘输入等指令操作界面）、以及状态确认（等待页面响应并验证动作结果）。其中模型推理通常耗时最长，单次调用往往需要1-5秒，而一个完整测试用例可能包含数十步操作。业界通常通过以下手段优化：压缩截图分辨率以减少token消耗、使用本地部署的轻量模型处理简单步骤、以及对动作流进行缓存复用。将这一循环的端到端延迟压缩到秒级以内，是此类工具从"可演示"走向"可生产"的关键门槛。

开源的意义与观察

Celesto 选择以开源方式发布（GitHub 仓库：https://github.com/CelestoAI/celesto ），并与商业产品共享代码，这在AI基础设施类项目中是一种越来越常见的策略。开源既能吸引开发者社区参与、建立信任，又能通过更优的托管体验实现商业化。

不过需要客观看待：目前这些信息主要来自开发者本人的自述，实际的稳定性、延迟表现、以及在复杂真实场景下的可靠性，仍需社区验证。对于有Web/App自动化测试需求的团队，它提供了一个值得关注的开源选项，尤其是"人工接管"这一贴近实际的功能设计。

对于正在评估Computer-use智能体方案的开发者，建议关注三点：SDK的易用性、画面流与远程调试能力是否顺畅、以及在自身典型任务下的端到端延迟表现。这些才是决定其能否真正带来"10x效率"的实证依据。