KLM模型：让AI输出证据可见，但别急着相信

AI答案看起来正确，并不意味着它真的可靠。评审者需要能够检查答案背后的记录依据。最近，一个名为Knowledge Layer Model（KLM）的开放规范被提出，试图为推理记录建立一套与实现无关的标准，让证据、认知评估和未知项都变得可见。同时，配套的参考实现SEDIM也披露了一系列内部实验结果——其中既有亮眼的数据，也有大量负面结果。这些发现提醒我们：证据可见性本身，并不等于正确性。

KLM是什么：为推理记录建立“证据层”

KLM（Knowledge Layer Model）是一个开放的、实现中立的规范，用于定义推理记录（inference records）。这些记录包含带版本的认知评估（versioned epistemic assessments）、证据关系（evidence relations）以及显式的未知项（explicit unknowns）。简单来说，它试图回答一个问题：当AI给出一个答案时，我们能否追溯它基于什么信息、以何种置信度、在哪些地方存在不确定性。

SEDIM是Nage AI OS的知识与证据架构，作为KLM的参考实现存在。目前引用的版本是KLM v0.3（仓库标签v0.3.0）。需要强调的是，这些实证材料来自独立的内部实验，而非端到端的验证。换句话说，KLM提供了一个框架，但它的实际效果还需要更多独立复现。

路由诊断：91.3%的分类准确率与它的局限

在一项历史平台-领域路由基准测试中，系统在15个类别上完成了137/150次正确分类，准确率为91.3%，名义95% Wilson区间为85.7-94.9%。这个数字看起来不错，但作者坦承了几个关键限制：分子是从一个四舍五入的摘要中恢复的，历史样本的归属未经核实。这意味着91.3%这个数字本身带有一定的不确定性，不能直接当作精确性能指标来引用。

更值得关注的是另一项测试：在修正后的双源测试中，原生模型权重路径配置的成功回答数为0/15。这是一个彻底的失败案例。它说明，在某些配置下，即使有了KLM这样的框架，模型本身的表现也可能完全不可用。路由诊断的价值恰恰在于暴露这类问题，而不是掩盖它们。

Wilson区间是一种用于二项分布比例参数的置信区间估计方法，尤其适用于小样本或极端比例（接近0或1）的场景。与传统的Wald区间不同，Wilson区间通过引入二次项校正，避免了在样本量不足时区间宽度不合理甚至包含负值的问题。在文章报告的137/150分类准确率中，名义95% Wilson区间为85.7%–94.9%，这意味着如果重复进行同样规模的实验，真实准确率有95%的概率落在这个范围内。但需要注意，该区间的有效性依赖于样本的独立性和代表性；文章已指出分子来自四舍五入摘要且样本归属未核实，因此这一区间只能作为参考，不能视为严格的统计保证。

负面结果：AUC 0.008与评分器的缺陷

KLM相关实验中最引人注目的，是一系列负面结果。词汇诊断和范围诊断在“静默 versus 矛盾”样本上的AUC均为0.008，远低于注册的最低要求0.65。AUC 0.008意味着诊断信号几乎完全无法区分两类样本——这是一个接近随机甚至更差的水平。作者没有回避这个结果，而是如实报告。

另一项容量增长比较因为遗留评分器存在缺陷且原始输出缺失，无法建立可靠的效果。在遗留打包（legacy packing）中，118/221个选中案例丢失了包含金标准文本的内容；修复后的打包在221/221个案例中保留了这些文本。但作者明确指出，这衡量的是文本存在性，而非答案质量。文本在，不等于答案对。

AUC（Area Under the ROC Curve） 是评估二分类诊断信号区分能力的常用指标，取值范围通常在0到1之间。AUC=0.5表示诊断信号与随机猜测无异；AUC越接近1，说明信号越能正确区分正负样本。文章中提到注册的最低要求为0.65，即诊断信号至少应具备中等以上的区分能力。而AUC=0.008意味着诊断信号几乎完全反向或失效——它不仅无法区分“静默”与“矛盾”样本，甚至比随机猜测还要差得多。这种极端低值通常提示诊断特征与目标标签之间存在严重错配、数据泄漏或评分逻辑缺陷，需要从根本上排查而非简单调参。

验证器与未完成的评估

Python和TypeScript验证器据报告在每组合成夹具（synthetic fixture）的六项检查上达成一致；但一份独立的生产披露未被接受。恢复、重新推导、人类评分标准支持、边界隔离以及有界响应评估等，仍处于提议阶段。

这些发现全部来自内部且由作者自行报告，历史观察与后来的复现被明确区分开来。作者反复强调：证据可见性并不能确立正确性、因果依赖、安全性或法规合规性。独立复现和完整的公开审计包仍是未来工作。

合成夹具（synthetic fixture） 是软件测试中用于模拟真实输入场景的预制数据集合，通常由人工构造以覆盖特定边界条件或异常路径。在KLM的验证器测试中，Python和TypeScript验证器在每组合成夹具的六项检查上达成一致，这说明两种实现对于同一组预制输入产生了相同的验证结果。然而，合成夹具的局限性在于其覆盖范围由设计者预设，无法完全代表生产环境中的复杂性和不可预见性。文章特别指出“一份独立的生产披露未被接受”，这暗示合成测试的一致性并不能直接推广到真实生产数据，验证器的实际可靠性仍需在更贴近实际部署的条件下接受检验。

为什么这件事值得关注

KLM的价值不在于它证明了什么，而在于它试图建立一种可审计的AI输出文化。当前大多数AI系统只给出答案，不给出答案的“证据链”。KLM要求记录认知评估的版本、证据关系、未知项，这为审查和问责提供了基础结构。

但负面结果同样重要。AUC 0.008、0/15成功回答、评分器缺陷——这些数字说明，从“证据可见”到“证据可靠”之间还有很长的路。一个诚实的框架应该同时报告成功与失败，KLM的实验披露在这方面做了一个示范。对于关注AI可解释性和审计的从业者来说，这套规范值得跟踪，但不应过早将其视为成熟方案。

结语：可见性只是起点

KLM和SEDIM提出了一种让AI推理记录变得可检查的思路，但内部实验中的大量负面结果提醒我们：证据层本身需要被验证。路由诊断可以暴露失败，但诊断指标本身也可能失效（AUC 0.008就是例子）。在独立复现和公开审计包完成之前，对KLM的实证主张应保持审慎。证据可见是必要的第一步，但远非终点。