GPT-2
OpenAI于2019年发布的大规模语言模型，拥有15亿参数，能够生成连贯自然的长段落文字，因担忧被滥用于虚假信息生成而采用分阶段发布策略，是GPT系列的早期重要版本
核心事实
时间轴 (近 90 天)
GPT-2最大的版本只有15亿参数，而课程作业中要微调的模型有70亿参数，在免费算力上即可运行。
OpenAI 在 GPT-2、GPT-3 等工作中系统验证了缩放定律，并将其作为模型研发路线规划的基础。
在完全相同的GPU和相同的数据下，训练GPT-2的成本从最初的数百美元级别降到了大约一百美元，靠的是算法、数据和kernel层面的技术改进。
在 nanochat、Llama 和 GPT-2 系列模型上从头训练验证了低比特 n-gram 表的有效性。
实验在合成问题、数据超清洗和GPT-2数据重加权任务上进行。
论文在 MLP、ViT 和 GPT-2 三种架构上验证了 DP-μP 的效果，实验设计为在较窄的模型上搜索学习率，然后直接应用到更宽的模型上，不进行额外调参。
错误的 KV 缓存排列顺序可以通过单 token 测试，因为只生成一个 token 时缓存只有一条历史记录，任何排列都退化成相同结果；只有序列变长、缓存出现多条记录后才会暴露输出偏差。
GPT-2 使用可学习的位置嵌入加到 token 嵌入上，若缓存中 K/V 排列顺序与查询向量所假设的位置错位，序列长度大于 1 时会出现查询位置与缓存位置错配，改变因果掩码下的可见集合，从而改变 softmax 权重和输出。
LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3上表现与完整微调相当甚至更好，例如WikiSQL上达到74.0%，MultiNLI上达到91.7%。
在受控 GPT-2 实验中，两种仅更新行向量的实验组在自然语言提问下的目标字符串平均命中率为 5.3%。
还有 40 条时间轴事件
全部知识事实 (20)
GPT系列采用解码器路线，坚持自回归语言模型目标，通过扩大规模揭示了涌现能力现象
80%已验证OpenAI在2018年发布GPT-2时以能力过强可能被滥用为由分阶段限制模型权重公开
80%已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token
80%已验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题
75%已验证Karpathy此前的nanoGPT用约600行代码实现了GPT-2的训练
75%已验证Dario Amodei曾在OpenAI担任研究副总裁，主导了GPT-2和GPT-3等关键模型的研究工作
70%已验证OpenAI从GPT-2开始使用BPE的变体，GPT-4的cl100k_base词汇表包含约10万个token
65%待验证Karpathy的llm.c项目用纯C语言实现了GPT-2训练，完全不依赖PyTorch等框架
90%部分验证少样本学习能力在GPT-2（15亿参数）时代几乎不可用，到GPT-3（1750亿参数）突然变得实用
75%部分验证GPT-2's largest version had approximately 1.5 billion parameters
65%待验证Transformer Explainer 是由佐治亚理工学院团队开发的交互式工具，以 GPT-2 为基础展示 Transformer 各层的计算流程
60%待验证GPT-2最大的版本只有15亿参数，而课程作业中要微调的模型有70亿参数，在免费算力上即可运行。
50%待验证OpenAI 在 GPT-2、GPT-3 等工作中系统验证了缩放定律，并将其作为模型研发路线规划的基础。
50%待验证在完全相同的GPU和相同的数据下，训练GPT-2的成本从最初的数百美元级别降到了大约一百美元，靠的是算法、数据和kernel层面的技术改进。
50%待验证在 nanochat、Llama 和 GPT-2 系列模型上从头训练验证了低比特 n-gram 表的有效性。
50%待验证实验在合成问题、数据超清洗和GPT-2数据重加权任务上进行。
50%待验证GPT-2 使用可学习的位置嵌入加到 token 嵌入上，若缓存中 K/V 排列顺序与查询向量所假设的位置错位，序列长度大于 1 时会出现查询位置与缓存位置错配，改变因果掩码下的可见集合，从而改变 softmax 权重和输出。
50%待验证错误的 KV 缓存排列顺序可以通过单 token 测试，因为只生成一个 token 时缓存只有一条历史记录，任何排列都退化成相同结果；只有序列变长、缓存出现多条记录后才会暴露输出偏差。
50%待验证LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3上表现与完整微调相当甚至更好，例如WikiSQL上达到74.0%，MultiNLI上达到91.7%。
50%待验证在冻结的 GPT-2 上挂载新初始化模块的受控实验中，所有实验组在三个采样种子下均能复现 50 条已训练完成的结果，说明基础记忆写入本身可实现。
50%