BPB
Bits-Per-Byte，一种将语言模型损失按字节归一化的评估指标，常用于跨分词器比较模型的压缩效率，但被指出并非真正分词器无关。
时间轴 (近 90 天)
对于从事模型评估、分词器选型或词表设计的团队，建议不要将BPB作为模型质量的唯一判据，应结合下游任务表现。
BPB（Bits-Per-Byte）长期被视为分词器无关的评估指标。
研究者通过未训练模型的实验展示BPB实际上会偏好某些分词器而非其他分词器。
BPB的计算方式为每字节token数乘以每token比特数，这两个因子并不会相互抵消。
研究给出了否定答案：更低的BPB并不意味着更好的模型。
在未训练模型上，BPB强烈偏好某些词表大小，即便模型准确率仍停留在随机水平。
在相同数据上训练的真实模型中，BPB与下游任务表现的相关性很弱。
文献中曾报告unigram-normalized loss与BPB的相关性高达0.989，但修正混杂因素后相关性骤降至0.057。
从同一数据出发，BPB和unigram-normalized loss在每个模型规模下选择了不同的词表。
与困惑度（perplexity）相比，BPB 对分词方式不敏感，便于跨模型比较。
全部知识事实 (10)
对于从事模型评估、分词器选型或词表设计的团队，建议不要将BPB作为模型质量的唯一判据，应结合下游任务表现。
50%待验证BPB（Bits-Per-Byte）长期被视为分词器无关的评估指标。
50%待验证研究者通过未训练模型的实验展示BPB实际上会偏好某些分词器而非其他分词器。
50%待验证BPB的计算方式为每字节token数乘以每token比特数，这两个因子并不会相互抵消。
50%待验证研究给出了否定答案：更低的BPB并不意味着更好的模型。
50%待验证在未训练模型上，BPB强烈偏好某些词表大小，即便模型准确率仍停留在随机水平。
50%待验证在相同数据上训练的真实模型中，BPB与下游任务表现的相关性很弱。
50%待验证文献中曾报告unigram-normalized loss与BPB的相关性高达0.989，但修正混杂因素后相关性骤降至0.057。
50%待验证从同一数据出发，BPB和unigram-normalized loss在每个模型规模下选择了不同的词表。
50%待验证与困惑度（perplexity）相比，BPB 对分词方式不敏感，便于跨模型比较。
50%