产品
OLMo-Twin
AI2发布的受控实验项目,通过重跑OLMo 2训练并插入匹配文档对,研究成员推断的因果效应。
时间轴 (近 90 天)
11月2日
研究团队重跑了OLMo 2 1B官方的500亿token中期训练阶段,将选定训练数据块替换为来自7,814对匹配文档中的文档,每对文档通过抛硬币决定哪一篇被插入训练。
待验证50%
11月2日
研究团队承诺释放检查点、逐token对数概率和评估文档,为后续MI研究提供受控基准。
待验证50%
AI2发布的受控实验项目,通过重跑OLMo 2训练并插入匹配文档对,研究成员推断的因果效应。
研究团队重跑了OLMo 2 1B官方的500亿token中期训练阶段,将选定训练数据块替换为来自7,814对匹配文档中的文档,每对文档通过抛硬币决定哪一篇被插入训练。
研究团队承诺释放检查点、逐token对数概率和评估文档,为后续MI研究提供受控基准。