TinyStories
用于训练和评估小型语言模型的儿童故事数据集，包含简单英语短篇故事，常用于语言模型研究中的基准测试
时间轴 (近 90 天)
论文在TinyStories数据集上评估了三种参数量均为10.94M的配置：纯Transformer、纯波和混合波-注意力，上下文长度最高到4096个token。
TinyStories是微软推出的合成故事数据集，专为小模型设计，语法简单但语义完整。
在语言建模任务（Text8、TinyStories、OpenWebText）上，二进制扩散保持竞争力但并未显著超越基线。
公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型，其作用是验证训练路径可行性而非模型质量。
该基准使用锁定在特定commit的llama2.c，配合TinyStories的FP32检查点（15M、42M、110M参数），这些是跑在llama2.c上的小模型而非完整的Llama 2
研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上进行验证，将每份语料从 512 个 chunk 扩大到 2,048 个 chunk，每个 chunk 为 64 个 token
全部知识事实 (6)
论文在TinyStories数据集上评估了三种参数量均为10.94M的配置：纯Transformer、纯波和混合波-注意力，上下文长度最高到4096个token。
50%待验证TinyStories是微软推出的合成故事数据集，专为小模型设计，语法简单但语义完整。
50%待验证在语言建模任务（Text8、TinyStories、OpenWebText）上，二进制扩散保持竞争力但并未显著超越基线。
50%待验证公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型，其作用是验证训练路径可行性而非模型质量。
50%待验证该基准使用锁定在特定commit的llama2.c，配合TinyStories的FP32检查点（15M、42M、110M参数），这些是跑在llama2.c上的小模型而非完整的Llama 2
50%待验证研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上进行验证，将每份语料从 512 个 chunk 扩大到 2,048 个 chunk，每个 chunk 为 64 个 token
50%