犹他州拟允许AI独立诊断开药,无需人工监督引热议

犹他州拟立法允许AI无人监督独立诊疗开药,挑战医疗AI"人在回路"安全底线。
美国犹他州正考虑一项激进立法:允许人工智能在无人工监督的情况下,直接检查患者并开具处方药。这一提案打破了医疗AI长期坚守的"人在回路"原则——即人类医师始终掌握最终决策权的安全底线。立法冲动来自现实压力:美国基层医疗资源严重短缺,AI自主诊疗若能规模化,理论上可提升偏远地区医疗可及性并压低成本。然而争议同样尖锐,核心矛盾集中于三点:AI误诊或开错药时责任无法追溯、大语言模型存在"幻觉"(以高置信度输出错误信息)的固有缺陷、以及训练数据偏见可能导致对特定人群的系统性误判。这一案例被视为观察社会对"算法行医"接受度底线的重要样本,也预示着AI自主医疗决策的边界之争才刚刚开始。
一条可能改写医疗边界的提案
一则来自Hacker News的消息引发了科技与医疗圈的关注:美国犹他州正考虑允许人工智能在没有人工监督的情况下,直接对患者进行检查并开具处方药物。这意味着AI或将从辅助工具的角色,升级为可以独立做出临床决策的主体。
尽管目前这条消息的讨论规模还很有限(原帖仅有4个点赞和1条评论),但其背后触及的议题却分量十足——当算法开始替代医生做出关乎健康甚至生命的决定时,监管、责任与安全的天平该如何摆放?

从"辅助"到"独立决策"的跨越
长期以来,AI在医疗领域的定位一直是"增强人类"而非"取代人类"。无论是影像识别辅助放射科医生发现病灶,还是临床决策支持系统为医生提供用药建议,最终拍板的始终是持证的人类专业人员。这种"人在回路"(human-in-the-loop)的设计,被视为医疗AI安全落地的基本底线。
犹他州的这一提案若成真,则是对这条底线的突破。允许AI"without human oversight"(无需人工监督)地检查患者并开药,等于承认AI系统具备了独立承担临床责任的能力。这在美国各州的医疗立法中属于相当激进的尝试。
为什么会有这样的立法冲动
不难理解推动者的现实考量。美国许多地区长期面临基层医疗资源短缺、全科医生不足、偏远地区就医难等结构性问题。AI诊疗若能规模化部署,理论上可以缓解医生缺口、降低成本、提高基础医疗的可及性。对于一些难以留住医生的乡村社区而言,一个"永远在线"的AI问诊系统或许比没有医生更好。
犹他州本身在科技监管上向来以相对开放和实验性著称,此次探索也延续了这种先行先试的风格。
"人在回路"(Human-in-the-Loop,HITL)是AI安全领域的核心设计原则之一,指在AI系统的决策流程中,始终保留人类介入、审核或否决的环节。与之对应的概念是"人在圈外"(Human-out-of-the-Loop)或"人在监控环路"(Human-on-the-Loop)——后者允许AI自主执行,但人类保留事后干预权。在医疗语境中,HITL不仅是技术安全考量,也是现行医疗执照制度的法律基础:绝大多数国家的医疗事故责任追溯,依赖于"有证可查的人类医师做出了最终判断"这一前提。一旦移除这一环节,现有的法律框架将面临系统性的适用困境。
核心争议:谁来为错误买单
这项提案最尖锐的问题在于责任归属。当AI开错了药、漏诊了重症、或给出了危险的治疗建议时,法律责任应由谁承担?是开发算法的科技公司,是部署系统的医疗机构,还是监管批准的政府部门?在缺乏人类医生最终签字的情况下,传统的医疗事故追责链条将变得模糊。
此外还有几个无法回避的技术与伦理隐患:
- 幻觉与误诊风险:当前的大语言模型仍存在"一本正经地胡说八道"的问题,在高风险的临床场景中,任何一次幻觉都可能造成不可逆的伤害。
- 数据偏见:如果训练数据对某些人群覆盖不足,AI的诊疗建议可能对特定族群、性别或年龄群体产生系统性偏差。
- 知情同意:患者是否清楚自己面对的是一个没有人类监督的AI?他们能否真正理解并同意这种诊疗方式?
大语言模型(LLM)的"幻觉"(Hallucination)问题在医疗场景中尤为危险。幻觉是指模型以高度自信的口吻生成听似合理、实则错误甚至无中生有的信息——包括捏造药物剂量、引用不存在的临床指南、或将罕见病症与常见病症混淆。这一现象的根本原因在于LLM的运作机制是基于统计概率的文本预测,而非对医学知识的真正「理解」。目前学界和产业界正通过检索增强生成(RAG)、思维链提示(Chain-of-Thought)、以及专门的医疗垂直模型微调来缓解这一问题,但尚无任何技术方案能将幻觉率降至临床可接受的零误差水平。这也是为何即便是最乐观的医疗AI倡导者,通常仍主张保留医师的最终审核环节。
行业信号:监管正在被技术倒逼
抛开这则具体新闻的真伪与进展不谈,它折射出一个更大的趋势:AI能力的快速膨胀正在逼迫监管体系做出回应。过去那种"AI只能当助手"的默认共识,正在被一些激进的立法尝试所挑战。
无论犹他州的提案最终能否落地,它都可能成为一个重要的观察样本——它将检验社会对"算法行医"的接受度底线,也会为其他州乃至其他国家的医疗AI监管提供参照。可以预见,围绕AI自主医疗决策的边界之争,才刚刚开始。
结语
这条源自Hacker News的简短消息,信息量虽有限,却点出了AI应用深水区最核心的矛盾:效率与安全、创新与责任之间的张力。医疗是AI落地中容错率最低的领域之一,任何"去掉人工监督"的尝试都值得被严格审视。在期待技术红利的同时,建立清晰的责任框架与安全护栏,或许比急于放权更为紧迫。
相关推荐

M&M's斥资数百万换掉人工蓝色素,为什么这么难?
玛氏公司投入数百万美元,试图用螺旋藻天然色素替代M&M豆中的人工蓝色素,却因物料浓稠堵塞管道、残留物引发霉菌风险而被迫改造整条产线。本文解析这场配方迁移背后的工程难题、消费者与监管推力,以及"无人工色素不等于健康"的清醒判断。

Meta全球AI开发者黑客松组队需求:计算机视觉与医疗AI方向
Reddit开发者发帖为Meta Global AI Developer Hackathon招募队友,方向聚焦计算机视觉与医疗AI。本文分析这一组队信号背后的赛道逻辑、技能互补需求与黑客松选题策略。

Claude 多个模型报错:Fable 5.1、Sonnet 5.5、Haiku 5.5 故障复盘
Claude Fable 5.1、Sonnet 5.5、Haiku 5.5 及 Opus 5.5 fast mode 出现错误率升高,官方 17 分钟内完成定位与恢复。本文梳理故障时间线、多模型连带故障的技术原因,以及对开发者重试与降级策略的实际启示。