LLM Agent
核心事实
时间轴 (近 90 天)
当Agent可调用的工具数量从个位数增长到数十甚至上百个时，将所有工具描述塞入上下文会导致上下文窗口被大量占据，模型选择准确率下降。
论文将技能组合后安全性失效的模式命名为 Conflict of Skills (CoS)，指为某一用途生成的工件或评估信号在下游复用时可能未保留新用途所需的限制或授权。
LLM Agent由模型和执行框架（harness）组合而成，其基准测试性能反映的是两者的联合行为。
最佳的静态采样基线比任何代理运行验证了更多的选择器，且成本不到代理运行的一半。
代理将每个发现编译成可执行测试，测试套件扫描整个语料库仅需 0.7 秒实际时间，无需 GPU。
三次代理运行每次成本为 2.21 至 2.84 美元，共发现四类现象下的七个问题。
研究在 FineWeb2 的斯洛伐克语部分（2650 万文档）上使用 LLM 代理作为语料库调试器进行审计。
LLM 代理可以作为一种有效的语料库调试工具，但不应完全替代静态基线方法。
代理的核心贡献在于精确的流行度估计、对照抽样文档检查的精度估计、解释流水线为何遗漏每个切片，以及可复用的测试。
预取模式在LLM Agent语境下指在模型开始推理之前，由外部编排层提前调用数据源API，将结果格式化后作为上下文注入prompt。
还有 40 条时间轴事件
全部知识事实 (20)
在目标模式下 Agent 行为可能相当激进，不确定目标可达成或在意成本时不建议开启
65%已验证提示注入是针对操作型Agent的独特新型攻击向量，恶意网页可通过视觉元素或隐藏文本向Agent注入指令，如何区分真实指令与伪造指令仍是尚未完全解决的开放问题
65%待验证现代LLM-based Agent的核心突破发生在2023年前后，随着GPT-4、Claude等大模型具备了稳定的指令跟随和工具调用能力
85%待验证A typical Agent execution loop includes perception, reasoning, action, and observation, forming the ReAct (Reasoning + Acting) pattern
60%待验证当Agent可调用的工具数量从个位数增长到数十甚至上百个时，将所有工具描述塞入上下文会导致上下文窗口被大量占据，模型选择准确率下降。
50%待验证论文将技能组合后安全性失效的模式命名为 Conflict of Skills (CoS)，指为某一用途生成的工件或评估信号在下游复用时可能未保留新用途所需的限制或授权。
50%待验证LLM Agent由模型和执行框架（harness）组合而成，其基准测试性能反映的是两者的联合行为。
50%待验证代理将每个发现编译成可执行测试，测试套件扫描整个语料库仅需 0.7 秒实际时间，无需 GPU。
50%待验证三次代理运行每次成本为 2.21 至 2.84 美元，共发现四类现象下的七个问题。
50%待验证LLM 代理可以作为一种有效的语料库调试工具，但不应完全替代静态基线方法。
50%待验证最佳的静态采样基线比任何代理运行验证了更多的选择器，且成本不到代理运行的一半。
50%待验证代理的核心贡献在于精确的流行度估计、对照抽样文档检查的精度估计、解释流水线为何遗漏每个切片，以及可复用的测试。
50%待验证研究在 FineWeb2 的斯洛伐克语部分（2650 万文档）上使用 LLM 代理作为语料库调试器进行审计。
50%待验证预取模式在LLM Agent语境下指在模型开始推理之前，由外部编排层提前调用数据源API，将结果格式化后作为上下文注入prompt。
50%待验证当前LLM Agent通常依赖上下文窗口内的对局记录做隐式推断，缺乏显式的信念状态维护机制，长局中容易遗忘早期线索或过度拟合最近回合。
50%待验证这类LLM Agent玩宝可梦对战项目的核心思路是把对战界面转化为LLM可理解的文本状态，Agent读取状态后输出动作指令，再由脚本传回对战平台执行。
50%待验证让模型玩游戏并非新鲜事，但宝可梦对战要求模型同时具备规则理解、对手建模和风险权衡三种能力。
50%待验证忽视Agent重试的分布式属性会带来数据损坏（重复交易、更新丢失、状态不一致）、资源耗尽（无限循环消耗API token和算力）和行为不可预测三类后果。
50%待验证上述三类Agent重试故障（非幂等操作、状态漂移、级联失败）均发生在系统层，而非模型层。
50%待验证LLM Agent是处于有状态、非确定性的进程，会与外部系统交互，不能简单当作HTTP客户端来重试。
50%