概念界面傀儡操控 / UI操控 / 界面操控
UI Puppeteering
一种让AI Agent或自动化脚本模拟人类操作界面的技术方案，通过截图识别界面元素、模拟鼠标键盘事件驱动应用，典型工具包括Selenium、Playwright及Anthropic Computer Use等
时间轴 (近 90 天)
9月22日
UI操控（UI Puppeteering）方式让Agent像人一样模拟点击按钮、填写表单、读取屏幕
待验证50%
9月22日
UI操控存在三重代价：界面改版即失效的脆弱性、渲染异步和元素定位漂移导致的不可靠、无法清晰记录Agent行为的难审计
待验证50%
9月22日
UI操控方案绕过了应用的业务逻辑层，导致权限校验和操作审计极难实现
待验证50%