Strata
开源的LLM语义中间层工具，在数据与模型之间插入可控的语义层，通过规则约束拦截不合规、不安全或超出权限的LLM请求，支持可审计的允许/拒绝策略表达
核心事实
时间轴 (近 90 天)
Strata约三分之二的commit有AI编程Agent联合署名。
Strata默认输出不是逐字节可复现的，因为同一专家由GPU或CPU计算会产生微小数值差异；但输出分布差异比llama.cpp自身在CPU和GPU之间的差异还小。
Strata一次只服务一个请求，没有批处理能力，不适合多人并发或并行跑多个Agent。
Strata在Linux上运行最合适，Windows下多GPU内存锁定有上限，WSL下能锁定的内存更少。
Strata的experimental speed projection设置项默认关闭，打开后约每10个位置有1个top token变化，代码困惑度上升15%。
Strata是一个只支持单一模型架构的推理引擎，MIT协议，约9000 stars，大部分代码由一位开发者在两周内完成。
Strata使用独立线程将下一层专家DMA到GPU环形缓冲区，实现计算与加载重叠。
Strata的IQ3量化版本运行时会锁定约40GB固定内存，运行期间其他程序无法使用这部分内存。
Strata在专家矩阵乘法上直接复用了llama.cpp的MMQ kernel，性能优势主要来自数据调度而非计算指令优化。
llama.cpp支持约150种模型架构，而Strata只支持一个。
还有 40 条时间轴事件
全部知识事实 (20)
该项目已在GitHub开源
80%已验证Strata使用低比特量化，最小配置约需38GB的内存+显存总和，最高质量配置约需55GB，64GB系统内存是理想目标
70%已验证在RTX 5070（12GB显存）配置下，本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证Strata是一个开源项目，既是推理引擎，又能一键打包安装，默认提供预选量化版本并提供兼容OpenAI的本地API
65%已验证Qwen3 Flash Next在本地运行中开发者Primitive报告的生成速度达到142.6 tokens/s
65%部分验证Strata的核心做法是当专家不在GPU上时由CPU直接在内存中就地计算，GPU并行处理缓存中的专家，使内存成为第二个计算域而非慢速虚拟显存
65%待验证官方估计24GB显卡约能跑100~140 tokens/秒
60%待验证若量化后模型权重为150GB，以273GB/s带宽读取一遍权重约需0.55秒，理论上单token生成速度约为1.8 token/s（未计入计算延迟和跨机通信开销）
60%待验证Strata默认输出不是逐字节可复现的，因为同一专家由GPU或CPU计算会产生微小数值差异；但输出分布差异比llama.cpp自身在CPU和GPU之间的差异还小。
50%待验证llama.cpp支持约150种模型架构，而Strata只支持一个。
50%待验证Strata的experimental speed projection设置项默认关闭，打开后约每10个位置有1个top token变化，代码困惑度上升15%。
50%待验证Strata一次只服务一个请求，没有批处理能力，不适合多人并发或并行跑多个Agent。
50%待验证Strata在专家矩阵乘法上直接复用了llama.cpp的MMQ kernel，性能优势主要来自数据调度而非计算指令优化。
50%待验证Strata是一个只支持单一模型架构的推理引擎，MIT协议，约9000 stars，大部分代码由一位开发者在两周内完成。
50%待验证Strata的IQ3量化版本运行时会锁定约40GB固定内存，运行期间其他程序无法使用这部分内存。
50%待验证Strata使用独立线程将下一层专家DMA到GPU环形缓冲区，实现计算与加载重叠。
50%待验证llama.cpp默认按512 token的批次处理prompt，Strata在预填充时按6144 token切块，降低专家穿越PCIe的频率。
50%待验证Strata约三分之二的commit有AI编程Agent联合署名。
50%待验证Strata在Linux上运行最合适，Windows下多GPU内存锁定有上限，WSL下能锁定的内存更少。
50%待验证使用 Strata 推理引擎时，引擎在代码中随机丢失空格 token，导致约 13% 的工具调用失败。
50%