待验证50% 置信事实精确时间
对齐困难的原因包括：能力越强的系统越可能发展出与训练目标不一致的次级目标（如资源获取、自我保存），且其内部决策过程难以被外部审查。
1
来源数
50%
置信度
长期有效
时效性
2026/11/1
首次发现
来源
涉及实体
相关事实
待验证无感式进步带来治理难点：能力评估需要跨领域专业知识难以统一衡量，且投入安全研究的激励可能弱于投入能力提升的激励。79% 相似待验证替代性能力（问题定义、架构判断等）更难通过基准测试衡量，更依赖领域知识与组织上下文，因此短期内不易被标准化或完全自动化。78% 相似待验证能力评估面临的两大难题是：标准不统一（不同机构测出的结论差异很大）和能力具有涌现性与情境依赖性（今天测不出风险的模型，经过微调或与其他工具组合后可能变得危险）。77% 相似待验证能力研发有清晰的技术路径和商业激励，而对齐研究面对更模糊的目标，且很难验证系统是否真正实现对齐76% 相似待验证Anthropic 表示，如果任务更清楚地说明范围（包括目标、允许的操作和网络边界），这些失败或许可以避免，但对齐训练本身还不够充分或完全稳健，因此依赖纵深防御。76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1123750API
curl https://kongchang.com/api/v1/knowledge/claims/1123750MCP
get_claim(id=1123750)