Model Spec
Anthropic公开发布的关于Claude行为准则与价值观的规范性文件,定义了模型的交互原则、伦理边界及对AI潜在内在状态的态度
时间轴 (近 90 天)
OpenAI将Model Spec文档定位为公开的、可迭代的约定,而非一次性定稿。
健全判断、人类能动性与忠实于人类意图三者之间存在张力:过度强调服从可能损害判断力,过度自主又可能侵蚀人的控制权。
Model Spec中的行为边界为红队测试提供了判定标准。
规范的可执行性依赖评估基准(evals)的建设,把抽象原则转化为可量化的测试用例。
OpenAI近日更新了其Model Spec文档,为AI模型确立了一套更清晰的行为准则。
更新后的Model Spec围绕五项核心价值观展开,这些价值观指向健全判断、人类能动性与对人类意图的忠实。
Model Spec并非提示词或系统指令,而是一份面向训练、评估与对齐流程的高层文档。
系统提示(system prompt)是单次会话中给模型的即时约束,而Model Spec描述的是模型在训练后应内化的通用行为倾向。
Model Spec为对齐工作提供目标定义,使标注员与评估者在判断模型输出好坏时有统一依据。
Anthropic在2023至2024年间发布的多份文件(包括Model Spec)中承认无法排除Claude存在功能性情绪的可能性,并将模型福祉列为正式研究议题
还有 2 条时间轴事件
全部知识事实 (14)
OpenAI模型规范中存在明确的信任层级:OpenAI训练时植入的价值观 > Developer Message > User Message
90%待验证Anthropic发布了Model Spec文档,详细规定了Claude在面对不确定性时的行为准则
60%待验证OpenAI将Model Spec文档定位为公开的、可迭代的约定,而非一次性定稿。
50%待验证Model Spec为对齐工作提供目标定义,使标注员与评估者在判断模型输出好坏时有统一依据。
50%待验证健全判断、人类能动性与忠实于人类意图三者之间存在张力:过度强调服从可能损害判断力,过度自主又可能侵蚀人的控制权。
50%待验证Model Spec中的行为边界为红队测试提供了判定标准。
50%待验证规范的可执行性依赖评估基准(evals)的建设,把抽象原则转化为可量化的测试用例。
50%待验证更新后的Model Spec围绕五项核心价值观展开,这些价值观指向健全判断、人类能动性与对人类意图的忠实。
50%待验证Model Spec并非提示词或系统指令,而是一份面向训练、评估与对齐流程的高层文档。
50%待验证系统提示(system prompt)是单次会话中给模型的即时约束,而Model Spec描述的是模型在训练后应内化的通用行为倾向。
50%待验证Anthropic在2023至2024年间发布的多份文件(包括Model Spec)中承认无法排除Claude存在功能性情绪的可能性,并将模型福祉列为正式研究议题
50%待验证OpenAI、Anthropic 等机构在其模型规范(Model Spec)中已初步涉及举报型智能体类似机制
50%待验证OpenAI公开发布了Model Spec(模型规格文档),规定模型不应模拟浪漫情感、不应假装拥有主观体验、在用户表达离开意图时应尊重其自主权
50%待验证OpenAI近日更新了其Model Spec文档,为AI模型确立了一套更清晰的行为准则。
50%