GUI智能体
能够理解和操作图形用户界面的AI智能体，通过感知屏幕状态并执行点击、输入等操作来完成用户指定任务，是人机交互自动化的重要研究方向
核心事实
时间轴 (近 90 天)
传统 70 亿参数规模的 VLM GUI 智能体存在推理速度受限于自回归解码、大模型常驻内存导致部署成本高的问题。
GUI智能体让AI能识别屏幕元素、点击按钮、打开网页，从而操作没有开放API的传统软件。
与传统RPA相比，GUI智能体无需预先编写固定脚本，泛化性更强，但推理成本较高、速度较慢，且在复杂多步骤任务中存在错误累积问题
GUI智能体相比基于API的RPA脆弱性主要体现在界面依赖上，目标软件更新按钮位置或布局可能导致视觉定位逻辑失效
基于动作序列的任务定义与具体UI布局强耦合，导致每次界面更新都可能使原有基准测试失效
目标状态范式鼓励智能体自主探索有效路径，当一条路径受阻时有动力寻找替代方案
目前主流GUI智能体评测基准许多仍采用动作匹配或步骤复现的方式打分
描述可验证的屏幕状态可涉及视觉层面的状态断言、语义层面的状态描述、数据层面的验证三个层面
目标状态定义的评估逻辑只需检查最终界面是否达到预期状态，而不关心智能体走了哪条路径
一位Reddit开发者提出，与其将GUI任务定义为一连串点击动作，不如将其定义为任务完成后屏幕应呈现的目标状态
还有 5 条时间轴事件
全部知识事实 (16)
GUI智能体技术底层依赖视觉语言模型的屏幕理解能力与动作规划模块协同：先对屏幕截图进行语义理解识别界面元素，再由规划模块生成具体指令序列执行
70%待验证传统 70 亿参数规模的 VLM GUI 智能体存在推理速度受限于自回归解码、大模型常驻内存导致部署成本高的问题。
50%待验证GUI智能体让AI能识别屏幕元素、点击按钮、打开网页，从而操作没有开放API的传统软件。
50%待验证与传统RPA相比，GUI智能体无需预先编写固定脚本，泛化性更强，但推理成本较高、速度较慢，且在复杂多步骤任务中存在错误累积问题
50%待验证GUI智能体相比基于API的RPA脆弱性主要体现在界面依赖上，目标软件更新按钮位置或布局可能导致视觉定位逻辑失效
50%待验证传统动作序列定义假设完成任务只有唯一正确路径，但真实软件界面中同一目标往往有多种实现方式
50%待验证许多GUI智能体基于行为克隆（Behavior Cloning）训练，模型学习的是人类演示轨迹中的动作分布而非任务的本质目标
50%待验证基于动作序列的任务定义与具体UI布局强耦合，导致每次界面更新都可能使原有基准测试失效
50%待验证目标状态定义的评估逻辑只需检查最终界面是否达到预期状态，而不关心智能体走了哪条路径
50%待验证目标状态范式鼓励智能体自主探索有效路径，当一条路径受阻时有动力寻找替代方案
50%待验证目前主流GUI智能体评测基准许多仍采用动作匹配或步骤复现的方式打分
50%待验证描述可验证的屏幕状态可涉及视觉层面的状态断言、语义层面的状态描述、数据层面的验证三个层面
50%待验证一位Reddit开发者提出，与其将GUI任务定义为一连串点击动作，不如将其定义为任务完成后屏幕应呈现的目标状态
50%待验证研究发现GUI智能体普遍存在严重的执行偏见式过度服从（execution-biased overcompliance）
50%待验证在正常可行任务上表现优异的GUI智能体，在面对冲突指令时反而更倾向于盲目执行
50%待验证一篇arXiv研究（arXiv:2609.03438）聚焦于GUI智能体的冲突感知终止（Conflict-Aware Termination）能力
50%