概念fp16 / 半精度浮点数
float16
用16位(2字节)表示一个浮点数的数值精度格式,存储体积较float32减半,对多数embedding检索效果影响很小
时间轴 (近 90 天)
10月18日
float16存储可将向量体积减半,且对多数embedding的检索效果影响很小
待验证50%
9月11日
以float16计算,一个100K词表的概率分布约为200KB
待验证50%
9月11日
以float16计算,一个100K词表的完整概率分布约为200KB
待验证50%
用16位(2字节)表示一个浮点数的数值精度格式,存储体积较float32减半,对多数embedding检索效果影响很小
float16存储可将向量体积减半,且对多数embedding的检索效果影响很小
以float16计算,一个100K词表的概率分布约为200KB
以float16计算,一个100K词表的完整概率分布约为200KB