待验证50% 置信观点精确时间

对于中等规模模型直接生成高质量法律要旨，纯监督微调的边际收益有限

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

微调LLM生成法律判决要旨：为何失败及实战解决方案

涉及实体

相关事实

已验证AWQ的核心洞察是只有约1%的显著权重对模型输出影响巨大，对其保护性处理可在极低比特宽度下维持模型质量67% 相似待验证权重绑定在中小规模模型上(如GPT-2 124M)通常能提升性能并减少约30%的嵌入相关参数，但在超大规模模型中收益递减64% 相似待验证在MoE模型中稠密层参数量占比通常不到总参数的20%，但每个token都必须经过，因此需要更高精度保护63% 相似待验证一个拥有巨大总参数量的稀疏模型，可能在推理成本上远低于一个规模更小的稠密模型63% 相似待验证自回归缩放定律的边际收益正在递减，单纯增加模型规模和数据量带来的提升已微乎其微63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/910239

API

curl https://kongchang.com/api/v1/knowledge/claims/910239

MCP

get_claim(id=910239)