论文LIMA
LIMA
关于大语言模型监督微调数据规模的研究，发现少量高质量示例即可达到较好效果，扩大示例数量对质量提升有限。
时间轴 (近 90 天)
10月17日
SFT 主要教模型格式和人设而非知识；LIMA 将示例从 2000 扩到 32000，质量几乎没变。
待验证50%
9月11日
2023年微软研究论文《LIMA: Less Is More for Alignment》表明仅用1000条精心策划的高质量样本就能让基座模型展现出与数万条样本微调相当的对话能力
待验证50%
关于大语言模型监督微调数据规模的研究，发现少量高质量示例即可达到较好效果，扩大示例数量对质量提升有限。
SFT 主要教模型格式和人设而非知识；LIMA 将示例从 2000 扩到 32000，质量几乎没变。
2023年微软研究论文《LIMA: Less Is More for Alignment》表明仅用1000条精心策划的高质量样本就能让基座模型展现出与数万条样本微调相当的对话能力