TRACE
一种面向肿瘤学大语言模型的树状关系结构增强框架,通过离线构建可更新的树状关系结构并在推理时检索紧凑提示证据,提升模型在癌症分类和医学问答任务中的可解释性与准确性
时间轴 (近 90 天)
TRACE 方法的核心是从 prompt-answer 对中重建可行的 dLLM 揭示轨迹,以提供与迭代掩码解码过程相匹配的校准状态。
TRACE 的轨迹校准思路和 dLLM-KVQ 的按层混合精度策略,为在有限显存下运行扩散语言模型提供了可参考的方向。
作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景,并提出了 TRACE 和 dLLM-KVQ 两种新方法。
dLLM-KVQ 利用 TRACE 生成的轨迹,根据输出层面和注意力层面的行为指标,选择每层中需要保持高精度的 K 缓存条目,而对 Value 缓存应用标准的低比特量化。
TRACE基准数据覆盖美国一个主要电力市场中的五个区域,将各区域电价与预测截止时点可获取的官方运营文本配对
TRACE是一个可复现的电价预测基准,包含7,300个'区域-日'(zone-day)实例
TRACE会在每个截止时点重建官方运营文本,从机制上防止截止后信息泄露(post-cutoff information leakage)
研究团队从语义对齐(semantic alignment)和预测价值(forecasting value)两个维度评估TRACE
语义评估显示文本信息与真实价格中的中心移动及双侧尾部风险存在对齐关系,其中文本与上尾价格风险的一致性最为稳定
引入文本信息后,跨多个时间序列基础模型的上尾分位损失(upper-tail pinball loss)中位数下降了7.4%
还有 14 条时间轴事件
全部知识事实 (20)
TRACE 方法的核心是从 prompt-answer 对中重建可行的 dLLM 揭示轨迹,以提供与迭代掩码解码过程相匹配的校准状态。
50%待验证TRACE 的轨迹校准思路和 dLLM-KVQ 的按层混合精度策略,为在有限显存下运行扩散语言模型提供了可参考的方向。
50%待验证作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景,并提出了 TRACE 和 dLLM-KVQ 两种新方法。
50%待验证dLLM-KVQ 利用 TRACE 生成的轨迹,根据输出层面和注意力层面的行为指标,选择每层中需要保持高精度的 K 缓存条目,而对 Value 缓存应用标准的低比特量化。
50%待验证TRACE基准数据覆盖美国一个主要电力市场中的五个区域,将各区域电价与预测截止时点可获取的官方运营文本配对
50%待验证TRACE是一个可复现的电价预测基准,包含7,300个'区域-日'(zone-day)实例
50%待验证TRACE会在每个截止时点重建官方运营文本,从机制上防止截止后信息泄露(post-cutoff information leakage)
50%待验证研究团队从语义对齐(semantic alignment)和预测价值(forecasting value)两个维度评估TRACE
50%待验证语义评估显示文本信息与真实价格中的中心移动及双侧尾部风险存在对齐关系,其中文本与上尾价格风险的一致性最为稳定
50%待验证引入文本信息后,跨多个时间序列基础模型的上尾分位损失(upper-tail pinball loss)中位数下降了7.4%
50%待验证在跨日文本错配(cross-day text-mismatch)消融实验中,将文本与错误日期价格配对后,性能增益消失且预测表现跌破不使用文本的基线水平
50%待验证跨日文本错配消融实验排除了'文本只是充当正则化噪声'的可能性,证明只有文本与对应时点价格正确匹配时才能转化为预测价值
50%待验证官方运营文本应作为提升电价尾部风险预测能力的有效输入,而非可有可无的辅助信息
50%待验证TRACE在推理阶段从结构中检索出紧凑的提示证据作为附加信息喂给模型
50%待验证TRACE将肿瘤学的概念与关系组织成一个可更新的树状关系结构,并借助由语言模型损失推导出的证据(LM-loss-derived evidence)进行精炼优化
50%待验证TRACE的核心设计思路是把昂贵的离线结构学习与轻量的在线推理分离开
50%待验证TRACE在十项肿瘤学分类任务以及一项MedQuAD CancerGov问答基准上进行了评估
50%待验证在无标签评估和监督微调两种模式下,TRACE均带来了性能提升
50%待验证TRACE的表现优于原始的RAG(检索增强生成)和通用的GraphRAG
50%待验证在泄漏受控(leakage-controlled)的METABRIC输入条件下,TRACE仍然保持有效
50%