可控性

当前关于对齐（alignment）、可控性、可解释性的研究仍处于早期阶段，远未达到可以放心托付重大决策的程度。

社区讨论中反复出现的一个核心痛点是“可控性”，即开发者难以知道AI代理为什么做出某个决策。

第一波 Agent 框架主要解决能力问题（思维链、工具使用、多步规划），因为能力在演示中表现出色，但困难的部分从来不是能力，而是可靠性、可观测性和可控性。

可观测性指能否知道AI为什么给出某个答案；可控性指能否约束输出范围和风格；集成度指能否无缝嵌入现有工作流而非让人来回切换。