[控场AI]
· 4 分钟阅读· 2,343 字

本地LLM+规则检测器:临床文本去标识化开源工具包

本地LLM+规则检测器:临床文本去标识化开源工具包

DeidSharp结合本地LLM与规则/NER检测器,实现高召回临床文本去标识化。

DeidSharp是一个开源的.NET工具包,通过在本地部署26B参数的混合专家LLM,并叠加正则表达式和临床NER检测器,以多检测器投票方式提升临床文本中受保护健康信息(PHI)的召回率。研究在PhysioNet护理记录和半合成MIMIC-IV-Note出院小结上评估,与deid、Philter、Stanford/Penn等工具对比。结果显示,召回优先堆叠在护理记录上召回率达98.9%,精确优先堆叠精确率达83.2%;出院小结中两种堆叠召回率均领先Stanford/Penn超过20个百分点。但LLM自我验证会丢弃25%的真实PHI,需外部检测器兜底。该方案适合隐私要求严格的医疗机构本地部署。

临床文本的去标识化(de-identification)是医疗数据共享和二次利用的前提,但如何在保护隐私的同时保持高召回率,一直是个难题。近期一项研究提出了DeidSharp——一个开源的.NET工具包,它结合了本地部署的大型语言模型(LLM)与基于规则的检测器,在多个数据集上实现了优于现有工具的表现。

rss source: A local language model layered with rule-based and neural detectors for clinical text de-identificat

为什么需要本地化去标识化?

传统的去标识化工具通常依赖云端API或预定义规则,前者存在数据泄露风险,后者难以覆盖临床文本中多样化的PHI(受保护健康信息)表达。DeidSharp的核心思路是:在本地运行一个26B参数的混合专家(MoE)LLM,并叠加确定性的模式匹配和临床命名实体识别(NER)模型,通过多检测器投票来提升召回率。任何检测器出错时,系统会“失效关闭”(fail closed),即采取保守策略,避免遗漏。

受保护健康信息(PHI) 是美国HIPAA隐私规则下的核心概念,指任何可单独识别个人身份且与健康状态、医疗服务或支付相关的信息,包括姓名、地址、日期(除年份外)、电话号码、病历号、设备标识符等18类标识符。临床文本去标识化的目标就是检测并移除或替换这些PHI,使数据可以在不泄露患者身份的前提下用于研究和二次利用。

混合专家(MoE)架构 是一种稀疏激活的神经网络设计:模型包含多个“专家”子网络和一个门控网络,每次前向传播只激活少数专家。这使得模型总参数量可以很大(如26B),但实际计算量远低于同等参数量的稠密模型,从而在本地部署时兼顾能力与效率。DeidSharp选择MoE LLM,正是看中其在有限硬件上运行较大模型的能力。

多检测器堆叠的设计

DeidSharp支持可插拔的检测器,包括正则表达式、临床NER模型和本地LLM。研究团队预设了两种配置:召回优先(recall-first)和精确优先(precision-first)。召回优先堆叠使用所有检测器,精确优先堆叠则去掉了NER模型,以降低误报。这种设计允许用户根据场景在召回率和精确率之间权衡。

失效关闭(fail closed) 是安全工程中的一种设计原则:当系统组件出现故障或不确定时,默认采取最保守、最安全的动作。在去标识化场景中,这意味着如果某个检测器报错或无法判断,系统会将该片段标记为PHI并予以遮蔽,而不是放行。与之相对的是“失效开放”(fail open),即出错时默认放行。医疗隐私场景通常要求失效关闭,因为漏检PHI的代价远高于误报。

临床命名实体识别(NER) 模型专门用于从临床文本中抽取实体,如人名、地名、机构名、日期、药物、疾病等。与通用NER相比,临床NER需要处理缩写、非标准表达和密集的医学术语。在DeidSharp中,NER模型主要补充LLM可能遗漏的地名等实体,与正则和LLM形成互补。

实验设计与对比基线

研究在PhysioNet护理记录(889个PHI片段)和半合成的MIMIC-IV-Note出院小结(29,023个PHI片段)上进行了评估,并与deid、Philter、Stanford/Penn去标识器、OpenAI Privacy Filter和GLiNER等工具对比。调参集和报告集分开,采用配对患者级bootstrap置信区间,确保统计严谨性。

配对患者级bootstrap置信区间 是一种统计评估方法。bootstrap通过有放回重采样估计统计量的抽样分布;配对则指对同一批患者样本上两个工具的预测结果进行成对比较,以控制患者间的异质性;患者级意味着重采样单位是患者而非片段,避免同一患者的多个片段被拆分到不同样本中导致置信区间过窄。这种方法在临床NLP评估中越来越受重视,因为它能更真实地反映工具在新患者群体上的表现差异。

关键结果:召回率显著提升

在护理记录中,召回优先堆叠相对Stanford/Penn的召回率提升了2.8个百分点(达到98.9%),但精确率低了9.3个百分点;精确优先堆叠(无NER)召回率达到96.5%,与Stanford/Penn持平,但精确率高出19.6个百分点(83.2%)。在出院小结中,两种堆叠的召回率均领先Stanford/Penn超过20个百分点(召回优先达95.3%),提升几乎全部来自生成的未类型化姓名;在类型化标签上,三者均超过99%。所有四项预设比较均成立。

有意思的是,在deid的“主场”语料上,没有配置能显著超越deid;Philter在出院小结上找到了更多片段,但精确率低了23个百分点。

LLM是主力,但自我验证有风险

讨论部分指出,LLM是主要的检测器,NER主要补充了地名。然而,当要求LLM验证自己发现的实体时,它丢弃了四分之一真实的PHI。这提示我们,LLM的自我验证并不可靠,需要外部规则或模型来兜底。

对临床NLP实践的启示

DeidSharp的意义在于提供了一种本地化、高召回的去标识化方案,尤其适合对数据隐私要求严格的医疗机构。其开源特性也便于社区审查和扩展。不过,精确率的下降提醒我们,高召回往往以更多误报为代价,实际部署时需要根据下游任务调整配置。未来,如何更好地融合LLM与规则检测器、减少自我验证的假阴性,仍是值得探索的方向。

#临床文本去标识化#DeidSharp#本地LLM#PHI检测#命名实体识别#开源工具包#医疗隐私
分享:

相关推荐