Betelgeuse
基于llama.cpp分支的MoE大模型推理引擎，通过零门控剪枝和内存优化技术，在低显存和内存的消费级硬件上实现大模型的高效推理，并保证输出比特一致
时间轴 (近 90 天)
作者正在将Betelgeuse的流式+受害者缓存架构移植到DeepSeek V4.1 Flash (1017)，早期测试在同类硬件上已达到约25 tok/s；项目已在GitHub开源（Betelgeuse-AI/Betelgeuse），并在HuggingFace提供预打包的Alpha-Orionis-XS捆绑包。
Betelgeuse从Shard 1中剥离专家负载，使主GGUF仅为3.2GB（Dense.gguf）+35.3GB（experts.bin，4KB对齐单读块）+26.8GB（PLE.gguf n-gram分片），避免了在Shard 1 .gguf和experts.bin中各保留35GB死专家张量。
在约190GB总大小的Q8_K_XL量化上，bel-server在RTX 3060 12GB+16GB DDR4机器上冷启动8 tok/s、热启动12 tok/s（峰值21 tok/s），而stock llama.cpp会立即OOM或爬行在<0.1 tok/s。
Betelgeuse推理引擎能在RTX 3060 12GB显卡、16GB DDR4内存的PC上以22 tok/s持续运行68GB的Qwen 3.8 Flash Next MoE模型，且输出与原始模型100%比特一致。
Betelgeuse是llama.cpp的一个分支（bel-cli / bel-server），作者同时也在向上游提交PR。
Betelgeuse每一层的全部10个路由专家都以全精度计算，作者用28,080条路由记录和576个生成token与原始stock输出逐字节验证，差异为0.000e+00。
Betelgeuse将约3.2GB的稠密层+GDN+QSA+LM head保留在VRAM中，剩余VRAM容纳约5000个专家槽，分布为：早期层0–4每层240槽，中间层92槽，尾部层60槽。
Betelgeuse使用流内CUDA内核在设备上以约2µs解析专家命中，仅当专家缺失时才通过门铃通知主机，使整个解码过程作为单次CUDA Graph重放运行，避免了每token约360ms的cudaStreamSynchronize开销。
Betelgeuse通过RAM受害者缓存+io_uring分页器，使物理NVMe读取从约71 MB/token降至12.43 MB/token。
Betelgeuse（参宿四）是一颗红超巨星。
还有 1 条时间轴事件
全部知识事实 (11)
Betelgeuse从Shard 1中剥离专家负载，使主GGUF仅为3.2GB（Dense.gguf）+35.3GB（experts.bin，4KB对齐单读块）+26.8GB（PLE.gguf n-gram分片），避免了在Shard 1 .gguf和experts.bin中各保留35GB死专家张量。
50%待验证在约190GB总大小的Q8_K_XL量化上，bel-server在RTX 3060 12GB+16GB DDR4机器上冷启动8 tok/s、热启动12 tok/s（峰值21 tok/s），而stock llama.cpp会立即OOM或爬行在<0.1 tok/s。
50%待验证Betelgeuse推理引擎能在RTX 3060 12GB显卡、16GB DDR4内存的PC上以22 tok/s持续运行68GB的Qwen 3.8 Flash Next MoE模型，且输出与原始模型100%比特一致。
50%待验证Betelgeuse是llama.cpp的一个分支（bel-cli / bel-server），作者同时也在向上游提交PR。
50%待验证Betelgeuse每一层的全部10个路由专家都以全精度计算，作者用28,080条路由记录和576个生成token与原始stock输出逐字节验证，差异为0.000e+00。
50%待验证Betelgeuse将约3.2GB的稠密层+GDN+QSA+LM head保留在VRAM中，剩余VRAM容纳约5000个专家槽，分布为：早期层0–4每层240槽，中间层92槽，尾部层60槽。
50%待验证Betelgeuse使用流内CUDA内核在设备上以约2µs解析专家命中，仅当专家缺失时才通过门铃通知主机，使整个解码过程作为单次CUDA Graph重放运行，避免了每token约360ms的cudaStreamSynchronize开销。
50%待验证Betelgeuse通过RAM受害者缓存+io_uring分页器，使物理NVMe读取从约71 MB/token降至12.43 MB/token。
50%待验证Betelgeuse（参宿四）是一颗红超巨星。
50%待验证作者正在将Betelgeuse的流式+受害者缓存架构移植到DeepSeek V4.1 Flash (1017)，早期测试在同类硬件上已达到约25 tok/s；项目已在GitHub开源（Betelgeuse-AI/Betelgeuse），并在HuggingFace提供预打包的Alpha-Orionis-XS捆绑包。
50%待验证Reddit上出现帖子声称OpenAI正在测试名为GPT-6.2 Betelgeuse的模型，内部代号为Bel，该信息源自某X平台用户的爆料。
50%