模型
mmBERT
一种多语言BERT模型，用于文本分类和自然语言理解任务。
时间轴 (近 90 天)
10月18日
Laya-multilingual 是一个322M参数、基于mmBERT构建、Apache-2.0许可的模型，用于对聊天卡片问题输出概率判断。
待验证50%
9月12日
在ONNX中使用INT8权重配合INT4嵌入层的量化组合，相比精度更保守的量化版本，F1分数差异仅约0.005
待验证50%
9月12日
mmBERT支持最高8192 tokens的输入窗口
待验证50%
9月12日
级联/早退架构使用工作在与mmBERT相同潜在空间的廉价轻量分类器先做简单决策，只让不确定案例进入完整模型
待验证50%
9月12日
廉价分类器的目标不是取代mmBERT，而是识别出即便跑完整模型答案也不会改变的案例
待验证50%
9月12日
在CPU上进行文本分类时，256或512 tokens的分块大小通常优于8192的大窗口
待验证50%
8月31日
Wolf Defender与Wolf Defender Small都从全新的mmBERT检查点重新训练，并将重点放在困难负样本上
待验证50%
全部知识事实 (7)
待验证
Laya-multilingual 是一个322M参数、基于mmBERT构建、Apache-2.0许可的模型，用于对聊天卡片问题输出概率判断。
50%待验证在ONNX中使用INT8权重配合INT4嵌入层的量化组合，相比精度更保守的量化版本，F1分数差异仅约0.005
50%待验证mmBERT支持最高8192 tokens的输入窗口
50%待验证级联/早退架构使用工作在与mmBERT相同潜在空间的廉价轻量分类器先做简单决策，只让不确定案例进入完整模型
50%待验证廉价分类器的目标不是取代mmBERT，而是识别出即便跑完整模型答案也不会改变的案例
50%待验证在CPU上进行文本分类时，256或512 tokens的分块大小通常优于8192的大窗口
50%待验证Wolf Defender与Wolf Defender Small都从全新的mmBERT检查点重新训练，并将重点放在困难负样本上
50%