模型
Qwen3.8 Flash-Next
阿里巴巴Qwen系列的较大规模预训练语言模型,包含约510亿参数级别的PLE记忆模块,用于n-gram统计信息的编码与迁移
时间轴 (近 90 天)
9月25日
将Qwen3.8 Flash-Next预训练的PLE(n-gram记忆)迁移到Qwen3.5-0.8B模型上,在冻结验证集上取得了5.05%的困惑度下降
待验证50%
阿里巴巴Qwen系列的较大规模预训练语言模型,包含约510亿参数级别的PLE记忆模块,用于n-gram统计信息的编码与迁移
将Qwen3.8 Flash-Next预训练的PLE(n-gram记忆)迁移到Qwen3.5-0.8B模型上,在冻结验证集上取得了5.05%的困惑度下降