概念decoder-only架构
decoder-only
仅使用Transformer解码器堆栈的模型架构，以自回归方式预测下一个token，适用于对话式生成任务。
时间轴 (近 90 天)
10月22日
decoder-only 架构仅使用 Transformer 解码器堆栈，通过因果注意力掩码以自回归方式逐个预测下一个 token，训练时根据前文预测后续内容。
待验证50%
10月18日
在decoder-only架构中，因果掩码保证每个token只能看到自己和更早的token。
待验证50%
9月12日
GPT-3 的成功验证了 decoder-only 架构在超大规模下的扩展性与灵活性，此后主流研究向 decoder-only 收敛
待验证50%