ExLlamaV3
turboderp 维护的开源大模型推理库，负责解释 EXL3 量化权重并执行前向计算，是 ExLlama 系列的第三代版本
时间轴 (近 90 天)
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。
EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
EXL3使用源自QTIP的向量与网格量化，在相同比特数下比标量舍入保留更多信息
全部知识事实 (3)
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。
50%待验证EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
50%待验证EXL3使用源自QTIP的向量与网格量化，在相同比特数下比标量舍入保留更多信息
50%