[控场AI]

#浏览器推理

共 3 篇相关文章

修复 GatherBlockQuantized：浏览器无 WebGPU 运行 4-bit Gemma
·8 分钟

修复 GatherBlockQuantized：浏览器无 WebGPU 运行 4-bit Gemma

Transformers.js 4.x 在无 WebGPU 的浏览器加载 4-bit Gemma ONNX 模型时报 GatherBlockQuantized 错误，原因是默认 asyncify 构建缺少该算子 CPU 内核。本文给出手动指定 wasmPaths 指向普通 WebAssembly 构建的修复方法与两个注意事项。

阅读全文 →
浏览器里跑RAG：小语言模型的实测与反思
·8 分钟

浏览器里跑RAG：小语言模型的实测与反思

浏览器端RAG全链路实现解析：用不到600MB的小模型在本地GPU跑检索增强生成，实测30道问题的忠实度，揭示小模型拒答能力缺失、相关性门控失效等真实局限。

阅读全文 →
Hugging Face开源最快WebGPU内核：浏览器本地AI迎来提速
·4 分钟

Hugging Face开源最快WebGPU内核：浏览器本地AI迎来提速

Hugging Face开源面向浏览器本地AI的WebGPU内核集合，覆盖200多个ML算子，全部可在浏览器本地运行，并计划上游到Transformers.js、ONNX Runtime Web等主流运行时。

阅读全文 →