[控场AI]
产品

Transformers.js

Hugging Face开发的JavaScript版Transformers库,底层依赖ONNX Runtime Web进行模型推理,支持WebAssembly或WebGPU后端在浏览器中运行AI模型

核心事实

时间轴 (近 90 天)

10月18日

Listing Lab 是一款完全运行在浏览器端的商品文案生成工具,基于开源权重的 SmolLM2-360M-Instruct 模型,通过 Transformers.js 加载,不依赖任何后端推理 API。

待验证50%
10月18日

llama.cpp 的 WASM 构建在纯文本生成场景下通常比 Transformers.js 有更好的推理性能和更灵活的量化选项。

待验证50%
10月17日

测试使用Transformers.js 4.2.0在WebGPU上以4-bit权重运行SmolLM2 360M Instruct、Qwen2.5 0.5B Instruct和Llama 3.2 1B Instruct(q4f16)三个模型

待验证50%
10月17日

Transformers.js源码注释明确说明,对decoder-only模型,repetition_penalty考虑的token包括提示词

待验证50%
10月17日

Transformers.js统计n-gram历史时将整个input_ids(包含提示词)计入,导致提示词中出现过的3-gram在生成阶段被永久封禁

待验证50%
10月17日

no_repeat_ngram_size: 3的规则是禁止产生任何已经出现过的3个token序列,在Transformers.js实现中会将这些token的分数设为负无穷

待验证50%
10月17日

BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM,核心代码约90行JavaScript。

待验证50%
10月17日

Transformers.js将模型文件存储在浏览器的Cache Storage中,第二次访问无需额外缓存代码即可快速加载。

待验证50%
10月17日

在Next.js 16 + Turbopack项目中使用标准TypeScript worker写法会导致worker不被执行且构建无报错,需将worker手写为JavaScript放在/public目录并从CDN加载Transformers.js。

待验证50%
10月17日

Transformers.js底层使用ONNX Runtime Web,模型需要转为ONNX格式并量化,4-bit量化的1B模型大小约1.2GB而非5GB。

待验证50%

还有 16 条时间轴事件

全部知识事实 (20)

已验证

Transformers.js 是 Hugging Face 开发的 JavaScript 库,基于 WebAssembly 和 WebGPU 技术,将 Transformer 模型推理移植到浏览器环境

70%
待验证

Listing Lab 是一款完全运行在浏览器端的商品文案生成工具,基于开源权重的 SmolLM2-360M-Instruct 模型,通过 Transformers.js 加载,不依赖任何后端推理 API。

50%
待验证

llama.cpp 的 WASM 构建在纯文本生成场景下通常比 Transformers.js 有更好的推理性能和更灵活的量化选项。

50%
待验证

Transformers.js源码注释明确说明,对decoder-only模型,repetition_penalty考虑的token包括提示词

50%
待验证

测试使用Transformers.js 4.2.0在WebGPU上以4-bit权重运行SmolLM2 360M Instruct、Qwen2.5 0.5B Instruct和Llama 3.2 1B Instruct(q4f16)三个模型

50%
待验证

no_repeat_ngram_size: 3的规则是禁止产生任何已经出现过的3个token序列,在Transformers.js实现中会将这些token的分数设为负无穷

50%
待验证

Transformers.js统计n-gram历史时将整个input_ids(包含提示词)计入,导致提示词中出现过的3-gram在生成阶段被永久封禁

50%
待验证

在Next.js 16 + Turbopack项目中使用标准TypeScript worker写法会导致worker不被执行且构建无报错,需将worker手写为JavaScript放在/public目录并从CDN加载Transformers.js。

50%
待验证

Transformers.js将模型文件存储在浏览器的Cache Storage中,第二次访问无需额外缓存代码即可快速加载。

50%
待验证

BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM,核心代码约90行JavaScript。

50%
待验证

Transformers.js底层使用ONNX Runtime Web,模型需要转为ONNX格式并量化,4-bit量化的1B模型大小约1.2GB而非5GB。

50%
待验证

TaskProof 的可选 AI 部分使用 FLAN-T5 Small 模型,通过 Transformers.js 和 ONNX Runtime Web 在浏览器 Web Worker 内运行,其角色被限制为总结可能的交付物、为买家提一个问题、草拟一句开场白。

50%
待验证

Transformers.js 4.3.1 在默认情况下(当 WebGPU 可用或 Safari 版本 >= 26 时)会选择 asyncify 构建(ort-wasm-simd-threaded.asyncify.{mjs,wasm})来加载 ONNX Runtime Web。

50%
待验证

Transformers.js 4.3.1 搭配 onnxruntime-web 1.31.0-dev.20260914,仅在 Safari 版本低于 26 且没有 WebGPU 时自动使用普通(非 asyncify)WebAssembly 构建。

50%
待验证

应使用 env.backends.onnx.versions.web 而非硬编码版本号来拼接 onnxruntime-web 的 wasm 文件 URL,以保证 .wasm 二进制与 .mjs 胶水代码的版本严格一致,避免 ABI 不匹配导致的运行时错误。

50%
待验证

Transformers.js 4.3.1 版本可用于在浏览器中直接运行 AI 模型推理。

50%
待验证

GrassToucher 的 AI 模型管线设计上可运行 Google Gemma 2 这类开源权重模型,并能通过 Ollama 或 Transformers.js 适配本地执行

50%
待验证

将机器学习推理引擎(如ONNX Runtime Web或Transformers.js)编译为Wasm模块,再加载量化后的模型权重,就能在用户设备本地完成图像推理,照片全程不离开本地设备

50%
待验证

MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化,能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理

50%
待验证

Transformers.js v4 版本对 GitHub 仓库做了重组,新增了 packages 目录,并新增 Transformers Structured Output 包

50%

来源文章