指令微调
一种大模型微调方法，使用多样化指令数据集训练模型，使其能够更好地泛化到未见过的任务，由Google Brain团队在2021年FLAN论文中系统验证
核心事实
时间轴 (近 90 天)
研究表明，在多个由自然语言指令描述的任务上微调，可以明显改善模型在未见任务上的零样本表现；但效果与模型规模、数据组成有关，某些论文指出指令微调对小模型可能有害。
在实际产品中，用户输入不会直接用来做指令微调的训练数据，行为校准主要依靠强化学习完成。
在微调语境下，“序列数据集”通常指将原始语料转换为模型可消费的输入-输出对，其格式由训练目标决定：指令微调需要构造指令-响应对，蒸馏需要教师模型的输出作为标签，嵌入模型微调则需要正负样本对。
该研究的结论聚焦于早期阶段的指令微调，是否适用于更大规模、更成熟的微调阶段仍需验证。
在固定微调预算下，回答密集程度（response ratio）比语言质量、指令复杂度等常见代理指标更能预测指令微调的效用。
经过指令微调的语言模型本质上是在实现一种特定的体裁——「指令-对话体裁」
「指令-对话体裁」由三个关键要素共同塑造：指令微调、系统提示词，以及带有特殊标记和角色分配的结构化输入格式
对于客服、导购、通知类回复模型，需要的是直接给答案的行为模式；一旦训练数据中混入大量reasoning-on样本，模型会把先长篇推理再回答当成任务规范。
云端GPT系列模型经过更大规模的指令微调，对模糊、口语化的提示具有更强的容错能力
指令微调生成器的稳定神经元有30%-36%集中在BERT第12层，而纯基座模型该比例均低于14%
还有 6 条时间轴事件
全部知识事实 (20)
对于客服、导购、通知类回复模型，需要的是直接给答案的行为模式；一旦训练数据中混入大量reasoning-on样本，模型会把先长篇推理再回答当成任务规范。
75%已验证指令微调使用问题-答案对格式的数据集进行训练，使模型更好地遵循自然语言指令
75%已验证在标准大语言模型交互架构中，系统提示词在每次对话开始前注入模型上下文，用于定义模型角色、行为边界和任务规则
70%待验证MIMO 2.5在代码生成领域针对性地进行了指令微调（Instruction Fine-tuning）
80%待验证模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
60%待验证研究表明仅用1,000条高质量指令数据就能显著提升模型的指令遵循能力
60%待验证研究表明，在多个由自然语言指令描述的任务上微调，可以明显改善模型在未见任务上的零样本表现；但效果与模型规模、数据组成有关，某些论文指出指令微调对小模型可能有害。
50%待验证在实际产品中，用户输入不会直接用来做指令微调的训练数据，行为校准主要依靠强化学习完成。
50%待验证在微调语境下，“序列数据集”通常指将原始语料转换为模型可消费的输入-输出对，其格式由训练目标决定：指令微调需要构造指令-响应对，蒸馏需要教师模型的输出作为标签，嵌入模型微调则需要正负样本对。
50%待验证该研究的结论聚焦于早期阶段的指令微调，是否适用于更大规模、更成熟的微调阶段仍需验证。
50%待验证在固定微调预算下，回答密集程度（response ratio）比语言质量、指令复杂度等常见代理指标更能预测指令微调的效用。
50%待验证经过指令微调的语言模型本质上是在实现一种特定的体裁——「指令-对话体裁」
50%待验证「指令-对话体裁」由三个关键要素共同塑造：指令微调、系统提示词，以及带有特殊标记和角色分配的结构化输入格式
50%待验证云端GPT系列模型经过更大规模的指令微调，对模糊、口语化的提示具有更强的容错能力
50%待验证指令微调生成器的稳定神经元有30%-36%集中在BERT第12层，而纯基座模型该比例均低于14%
50%待验证即便采用指令微调或RLHF进行对齐，底层语域偏见也难以被彻底消除，因为对齐数据同样以标准语域为主
50%待验证采用指令微调（instruction tuning）格式，在每条训练样本中显式加入context、emotion、input、output等语境信息，可让模型学会在特定情绪语境下切换风格的映射关系
50%待验证指令微调通过精心设计的指令-回复对训练模型，使其从续写文本转变为遵循指令
50%待验证平台可通过指令微调和RLHF在模型权重层面硬编码行为规则，使安全指令覆盖用户自定义指令，代价是牺牲用户自定义指令的灵活性
50%待验证大语言模型的关键技术突破包括自注意力机制、RLHF、指令微调以及混合专家模型（MoE）架构
50%