mini-vllm-rs
用Rust实现的macOS平台LLM推理引擎，支持连续批处理、推测解码等优化技术，运行于Apple Silicon硬件上
时间轴 (近 90 天)
为保留验证，原设计在加入 Active 和 Draining 状态后，跟踪已释放的跟随者直到其终止。
在自研 Rust LLM 推理引擎 mini-vllm-rs 中，前缀缓存启用后，两个完全相同的请求同时抵达冷缓存时，可能一个 token 都无法复用，双双执行完整预填充。
在 mini-vllm-rs 中，引入增量发布后，每个跟随请求可恢复 493 个提示词 token 中的 480 个。
在 mini-vllm-rs 的初版单飞实现中，AI 在释放跟随者时直接删除飞行记录，导致跟随者之后完成并通知协调器时协调器不识别其 ID；作者拒绝移除未知请求检查，因为这会掩盖携带真正无效请求 ID 的终止通知。
在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s
作者基于该工作负载把4行定为默认的内核切换阈值
连续批处理按token位置而非请求数量计行数，某批次将新请求的120个prefill token与已有请求的4个验证token合并为124行从而越过阈值选择GEMM
在第一个产生分歧的token处，目标模型对token 476和323的两个领先得分在串行与批处理下发生顺序互换，翻转了贪婪解码的选择
全部知识事实 (8)
为保留验证，原设计在加入 Active 和 Draining 状态后，跟踪已释放的跟随者直到其终止。
50%待验证在自研 Rust LLM 推理引擎 mini-vllm-rs 中，前缀缓存启用后，两个完全相同的请求同时抵达冷缓存时，可能一个 token 都无法复用，双双执行完整预填充。
50%待验证在 mini-vllm-rs 中，引入增量发布后，每个跟随请求可恢复 493 个提示词 token 中的 480 个。
50%待验证在第一个产生分歧的token处，目标模型对token 476和323的两个领先得分在串行与批处理下发生顺序互换，翻转了贪婪解码的选择
50%待验证在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s
50%待验证作者基于该工作负载把4行定为默认的内核切换阈值
50%待验证连续批处理按token位置而非请求数量计行数，某批次将新请求的120个prefill token与已有请求的4个验证token合并为124行从而越过阈值选择GEMM
50%待验证在 mini-vllm-rs 的初版单飞实现中，AI 在释放跟随者时直接删除飞行记录，导致跟随者之后完成并通知协调器时协调器不识别其 ID；作者拒绝移除未知请求检查，因为这会掩盖携带真正无效请求 ID 的终止通知。
50%