LMDeploy

LMDeploy 出自一家中国公司，针对中文视觉模型和四位量化模型做了特定优化。

LMDeploy结合量化技术，将KV Cache的数据类型从float量化为int，在损失一定精度的情况下压缩占用空间。