安全分类器
在AI编程工具的工具调用前评估风险等级的判断层，基于规则、启发式或轻量模型对参数、路径、命令内容做静态与上下文分析，输出允许、拦截或需确认的判断
核心事实
时间轴 (近 90 天)
该安全分类器的工作方式是在用户请求进入主模型之前或生成回复之后，对内容进行风险打分，若判定为高风险则直接拦截或替换为拒答话术。
该安全分类器依赖模式匹配和语义相似度，缺乏对用户意图、项目上下文和法律背景的深入理解，因此容易将“安全相邻”的合法请求误判为恶意行为。
大模型安全对齐一般经过监督微调、基于人类反馈的强化学习以及独立的安全分类器层。
安全分类模型可能对描述性语言中的“入侵”“暴露”“绕过”等语义特征过度敏感，而烹饪步骤里恰好包含类似表达。
安全分类器通常是独立于主模型的小型模型或规则系统，负责对输入输出做风险打分，常见类别包括暴力、自残、网络攻击等。
烹饪步骤中的“外焦里生”“切开暴露内部”等描述，在词向量空间里可能与安全文本接近，从而触发误判。
调整表述方式，比如把“recipe hack”换成“recipe improvement”，用更中性的措辞可以降低误触安全机制的概率。
服务端分类器可对所有用户即时灰度、A/B 测试与回滚，也便于集中收集拦截样本迭代模型。
分类器迁移到服务端导致调用意图与参数会离开本地，处理敏感代码的团队需纳入合规评估。
Claude Code 将安全分类器从本地迁移到了服务端。
还有 2 条时间轴事件
全部知识事实 (14)
安全分类器是一种独立于主模型之外的轻量级判别模型，通常基于BERT、RoBERTa等编码器架构或经过微调的小型语言模型构建，在请求进入主模型推理前对输入内容进行风险评分
65%待验证该安全分类器依赖模式匹配和语义相似度，缺乏对用户意图、项目上下文和法律背景的深入理解，因此容易将“安全相邻”的合法请求误判为恶意行为。
50%待验证该安全分类器的工作方式是在用户请求进入主模型之前或生成回复之后，对内容进行风险打分，若判定为高风险则直接拦截或替换为拒答话术。
50%待验证大模型安全对齐一般经过监督微调、基于人类反馈的强化学习以及独立的安全分类器层。
50%待验证安全分类器通常是独立于主模型的小型模型或规则系统，负责对输入输出做风险打分，常见类别包括暴力、自残、网络攻击等。
50%待验证调整表述方式，比如把“recipe hack”换成“recipe improvement”，用更中性的措辞可以降低误触安全机制的概率。
50%待验证烹饪步骤中的“外焦里生”“切开暴露内部”等描述，在词向量空间里可能与安全文本接近，从而触发误判。
50%待验证安全分类模型可能对描述性语言中的“入侵”“暴露”“绕过”等语义特征过度敏感，而烹饪步骤里恰好包含类似表达。
50%待验证分类器迁移到服务端导致调用意图与参数会离开本地，处理敏感代码的团队需纳入合规评估。
50%待验证服务端分类器可对所有用户即时灰度、A/B 测试与回滚，也便于集中收集拦截样本迭代模型。
50%待验证当前LLM Agent的安全主要依赖对齐训练和安全分类器两条防线，但这两者都无法排除精心构造的间接提示注入绕过所有检查的情况。
50%待验证主流AI图像生成模型除RLHF外还有安全分类器在推理阶段实时检测输出内容
50%待验证分类器依赖词汇和语义模式匹配判定风险等级而非深度理解用户意图，导致语义相近但表述不同的请求呈现不同风险画像（语义表面敏感性）
50%待验证Claude Code 将安全分类器从本地迁移到了服务端。
50%