WikiText-103
从维基百科提取的大规模语言建模数据集，包含超过1亿token，广泛用于语言模型困惑度评估和预训练研究
时间轴 (近 90 天)
将中间层注意力模块替换为 OAL 并通过 LoRA 联合微调后，WikiText-103 困惑度相比全局二次核从 31.71 降至 27.50
研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上进行验证，将每份语料从 512 个 chunk 扩大到 2,048 个 chunk，每个 chunk 为 64 个 token
WikiText-103由Merity等人于2016年从英文维基百科提取构建，包含约1.03亿token（约28,000篇完整文章）
在WikiText-103数据集上，约10M参数下CWAA V6验证困惑度为139.09，标准Transformer为149.19，CWAA约有7%相对改善
WikiText-103是包含约1亿token的英文维基百科语料，是语言模型基准测试的标准数据集之一
全部知识事实 (5)
将中间层注意力模块替换为 OAL 并通过 LoRA 联合微调后，WikiText-103 困惑度相比全局二次核从 31.71 降至 27.50
50%待验证研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上进行验证，将每份语料从 512 个 chunk 扩大到 2,048 个 chunk，每个 chunk 为 64 个 token
50%待验证WikiText-103由Merity等人于2016年从英文维基百科提取构建，包含约1.03亿token（约28,000篇完整文章）
50%待验证在WikiText-103数据集上，约10M参数下CWAA V6验证困惑度为139.09，标准Transformer为149.19，CWAA约有7%相对改善
50%待验证WikiText-103是包含约1亿token的英文维基百科语料，是语言模型基准测试的标准数据集之一
50%