Qwen2.5-7B-Instruct
阿里巴巴推出的Qwen2.5系列7B参数指令微调语言模型,支持多语言推理与对话任务
时间轴 (近 90 天)
在SDFT设置下基于Qwen2.5-7B-Instruct,Muon-RT相比AdamW平均准确率提升2.6个百分点,同时持久内存减少42%。
在SDFT设置下基于Qwen2.5-7B-Instruct,Muon-RT相比带动量的Muon平均准确率提升5.4个百分点,持久内存减少27%。
LocalAgentBrowser 代理在 Intel i5-9500 CPU 上运行 Qwen2.5-7B-Instruct 模型,可完成从搜索、阅读到撰写答案的完整流程。
LocalAgentBrowser 是一个开源项目,能让 7B 参数模型在消费级 CPU 上运行浏览器代理,自主完成研究和写作任务。
在 Intel i5-9500 上,Qwen2.5-7B-Instruct 模型读取速度约为每秒 8 个 token,读取提示词占每次模型调用时间的约 90%。
要求 7B 模型展示工作过程(将目标拆解为部分并逐一标注覆盖或未覆盖,并告知来源数量)比直接问是否满足目标更有效。
实验在Qwen2.5-7B-Instruct上进行,使用Math-Shepherd作为PRM,在MATH500数据集(n=500,三个随机种子)上测试
该研究的局限在于规模仅限于单一模型Qwen2.5-7B-Instruct和单一数据集LongBench-v2,且训练数据量较小(仅168题)
研究以LongBench-v2数据集的全部503道多选题为主要诊断集,答案模型采用Qwen2.5-7B-Instruct
全部知识事实 (9)
在SDFT设置下基于Qwen2.5-7B-Instruct,Muon-RT相比AdamW平均准确率提升2.6个百分点,同时持久内存减少42%。
50%待验证在SDFT设置下基于Qwen2.5-7B-Instruct,Muon-RT相比带动量的Muon平均准确率提升5.4个百分点,持久内存减少27%。
50%待验证LocalAgentBrowser 代理在 Intel i5-9500 CPU 上运行 Qwen2.5-7B-Instruct 模型,可完成从搜索、阅读到撰写答案的完整流程。
50%待验证LocalAgentBrowser 是一个开源项目,能让 7B 参数模型在消费级 CPU 上运行浏览器代理,自主完成研究和写作任务。
50%待验证在 Intel i5-9500 上,Qwen2.5-7B-Instruct 模型读取速度约为每秒 8 个 token,读取提示词占每次模型调用时间的约 90%。
50%待验证要求 7B 模型展示工作过程(将目标拆解为部分并逐一标注覆盖或未覆盖,并告知来源数量)比直接问是否满足目标更有效。
50%待验证实验在Qwen2.5-7B-Instruct上进行,使用Math-Shepherd作为PRM,在MATH500数据集(n=500,三个随机种子)上测试
50%待验证该研究的局限在于规模仅限于单一模型Qwen2.5-7B-Instruct和单一数据集LongBench-v2,且训练数据量较小(仅168题)
50%待验证研究以LongBench-v2数据集的全部503道多选题为主要诊断集,答案模型采用Qwen2.5-7B-Instruct
50%