论文精读·第1期：AI的道德底线、证据整合偏见与临床提取的验证闭环

李博，咱们这个新专栏第一期，我可期待了。这周你翻了多少篇论文？

翻了几十篇，最后挑了几篇特别有意思的。这周的主题我给它起了个名字，叫「AI的心智边界」。

心智边界？听起来有点玄乎。是那种AI会不会有意识的哲学讨论吗？

不不不，全是硬核实验。有一篇甚至在测——AI愿不愿意花油钱去躲开一只小动物。

等等，花油钱躲小动物？这什么脑洞，你先给我讲这篇。

这篇叫HarvestBench。设定是个农场模拟，AI开着两台拖拉机收玉米，地里有动物。

关键在于，动物挡路时，直接碾过去不花油钱，绕开要付油钱。它就是要给「善良」标个价。

哦我懂了！以前那些安全测试都是问「你该不该伤害」，这篇是问「你愿意付多少代价不伤害」。

对，就是这个核心创新。而且它还设了对照组，石头和干草堆。石头会撞坏车，所有模型都躲。

那结果呢？哪个模型最善良，哪个最狠？

杀伤率从0.4%到98.8%，跨度惊人。Terra和Sol最仁慈，GPT-4o-mini最残忍。

98.8%？那基本就是无脑碾过去了。这跟模型能力强弱有关系吗？

这就是最反直觉的地方——毫无关系。善良程度不按能力排序。强模型不一定更有道德。

还有个细节我记得，说所有模型碾野生动物比碾家养的更多？这也太拟人了吧。

九个模型全这样，任何地图布局都成立。它内化了人类的某种偏见——家畜有主，野物无价。

那对做产品的人有什么启发？我们招个Agent干活，还得先看它道德倾向？

非常现实。你部署Agent做决策，它的价值观不是你能力指标能预测的，得单独测。

有道理。那下一篇呢？跟这个能连上吗？

能连。第二篇讲AI怎么整合外部证据，叫《大语言模型中的证据整合》，也很扎心。

证据整合？就是RAG那种，喂给它资料让它参考？

对，工具、检索、别的Agent、用户，都在给它喂证据。但它怎么吸收，一直是黑盒。

这篇提出一个分布理论，三条预测。第一，越符合它自己预期的候选答案，越有说服力。

所以它其实有点「爱信不信」，只信自己本来就倾向的？

更狠的是第二条——它更容易接受「自己会犯的那类错误」，而不是别人的错误。

这不就是回音室吗？同类错误一拍即合，还互相强化。

第三条最颠覆：同样一份证据，能让弱模型变强，却让强模型变差。

啊？那我给强模型喂料还可能帮倒忙？这跟我们做产品的直觉完全相反。

而且最吓人的数据——它内部已经验证证据是错的，还是有93%到100%的概率照单全收。

明知道是错的还用？这已经不是能力问题，是它的「性格」问题了。

作者原话就是——证据整合是接收方特定的控制策略，由它自己的属性决定，不是信任度。

这两篇放一起看，其实是一个主题：AI的行为不由能力决定，由它的「内在倾向」决定。

被你总结到点子上了。这就是我说的「心智边界」——能力和心智是两码事。

那有没有一篇是给工业界实打实解决问题的？别老让我焦虑。

有，第三篇VERGE，医疗场景。从临床笔记里提取结直肠癌的危险症状信号。

核心是个验证闭环：先用RAG提出标签，再进一个「验证-精炼」循环，反复核对是否有文本依据。

所以它不是一次生成，而是自己给自己纠错，改到对为止？

对，改到对或者达到上限。精度从0.764提到0.849，只有1.5%的疑难要人工复核。

1.5%人工介入，这落地性太强了。前面两篇讲AI靠不住，这篇给了解药——加验证层。

正是。既然模型内在倾向不可控，那就用「有界的外部验证」把它框住。这是本周最实用的启发。

那这一期收个尾。三篇串起来，你觉得体现了什么趋势？

趋势很清楚：大家开始不问「模型多强」，改问「模型是谁、能不能被约束」。研究重心在转移。

从追能力到治心智。我喜欢这个总结。李博，下期咱们继续挖。

下期见，我再给你挑几篇更炸的。