模型GoiBERT-base / GoiBERT-large
GoiBERT
面向越南语的紧凑预训练编码器，采用两阶段知识蒸馏，直接处理原始文本无需外部分词，提供 26M 和 49M 两个版本
时间轴 (近 90 天)
10月22日
GoiBERT 包含 26M 和 49M 两个紧凑版本。
待验证50%
10月22日
GoiBERT 直接处理原始文本，无需分词预处理。
待验证50%
10月22日
GoiBERT 采用两阶段知识蒸馏：第一阶段由共享词表的越南语编码器教师传授通用语言表征，第二阶段由更大教师模型通过软标签提供任务级指导。
待验证50%
10月22日
第二阶段软标签的生成过程不需要对教师自身的训练数据进行人工标注。
待验证50%
10月22日
论文在八个基准上评估 GoiBERT，覆盖文本分类、方面级情感分析、自然语言推理和命名实体识别。
待验证50%
10月22日
GoiBERT 的压缩在情感分析和文本分类任务上几乎无损，但在自然语言推理和命名实体识别任务上仍有明显精度损失。
待验证50%
10月22日
对于自然语言推理和命名实体识别任务，选型时需重新评估精度与成本的权衡。
待验证50%
全部知识事实 (7)
待验证
GoiBERT 包含 26M 和 49M 两个紧凑版本。
50%待验证GoiBERT 直接处理原始文本，无需分词预处理。
50%待验证GoiBERT 采用两阶段知识蒸馏：第一阶段由共享词表的越南语编码器教师传授通用语言表征，第二阶段由更大教师模型通过软标签提供任务级指导。
50%待验证第二阶段软标签的生成过程不需要对教师自身的训练数据进行人工标注。
50%待验证论文在八个基准上评估 GoiBERT，覆盖文本分类、方面级情感分析、自然语言推理和命名实体识别。
50%待验证GoiBERT 的压缩在情感分析和文本分类任务上几乎无损，但在自然语言推理和命名实体识别任务上仍有明显精度损失。
50%待验证对于自然语言推理和命名实体识别任务，选型时需重新评估精度与成本的权衡。
50%