已验证75% 置信观点精确时间

对齐问题的核心困难在于如何确保持续自我改进的AI系统在每次迭代后仍遵循人类预期的目标与价值观

3

来源数

75%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

递归自我改进：AI离自我进化还有多远？

涉及实体

相关事实

已验证工具性趋同理论认为无论AI最终目标为何，自我保存、目标完整性、认知增强和资源获取等子目标会在足够智能的优化下自然涌现，而无需被编程80% 相似已验证当AI系统被赋予某个目标时，它可能会以人类未曾预料甚至违背人类意图的方式去达成这一目标79% 相似待验证随着模型规模和能力的持续扩大，人类对AI系统内部决策机制的理解并未同步提升77% 相似已验证AI对齐的核心挑战包括目标错配、可解释性缺失、能力泛化风险77% 相似待验证AI对齐（Alignment）关注的核心问题是模型是否真正理解并执行了人类的意图，而非钻规则空子或产生偏离目标的行为77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/915715

API

curl https://kongchang.com/api/v1/knowledge/claims/915715

MCP

get_claim(id=915715)