[控场AI]
概念Open Neural Network Exchange

ONNX

ONNX(Open Neural Network Exchange,开放神经网络交换格式)是由微软和Facebook联合发起的开放标准,用于表示机器学习模型的通用中间格式。它定义了一套通用的算子集合和数据类型规范,使模型能够在PyTorch、TensorFlow等不同训练框架之间相互转换,并通过ONNX Runtime等推理引擎在多种硬件平台上部署,从而解决深度学习框架互操作性问题。

核心事实

时间轴 (近 90 天)

11月2日

Hugging Face上的Timestral模型文件基于PyTorch和safetensors格式,在手机上运行需转换为ONNX格式。

待验证50%
11月2日

GitHub上有第三方浏览器演示项目,将Timestral 500万和2800万参数版本转为ONNX,可在浏览器本地运行,不调用API,支持离线推理和上传自定义CSV。

待验证50%
10月30日

随着TorchScript、ONNX等中间表示的出现,动态图在性能优化和部署上与静态图的差距已大幅缩小。

待验证50%
10月27日

ONNX(Open Neural Network Exchange)是一种开放的模型表示格式,旨在让不同训练框架(如 PyTorch、TensorFlow)导出的模型能被多种推理引擎加载。

待验证50%
10月27日

一位约一年经验的印度汽车嵌入式软件工程师,技术栈覆盖 C/C++、Python、嵌入式系统、ARM、RTOS 和 Linux 基础,正在学习机器学习和深度学习基础,并计划围绕 ASR/TTS、模型部署、ONNX、量化及边缘硬件推理构建实战项目。

待验证50%
10月21日

训练完成后,模型被导出为ONNX文件用于部署;作者在ONNX文件中添加了TRAIN_CONFIG字段以记录所有训练配置,方便追溯。

待验证50%
10月21日

向量归一化参数仍需额外文件保存,因为归一化层若未一并固化到计算图中,推理端就需要单独保存并加载这些统计量,否则观测分布偏移会导致策略失效。

待验证50%
10月19日

BitLens 通过钩子包裹 PyTorch 的 nn.Module 或 ONNX 计算图,为权重(对称逐通道)和激活(非对称逐张量)各采集 128-bin 直方图。

待验证50%
10月19日

BitLens 是一个开源项目,通过一次校准完成逐层量化敏感度分析,并导出主流框架的量化配置。

待验证50%
10月19日

开源项目 onnx-wakeword 提供了在本地应用中运行 ONNX 唤醒词与关键词检测模型的推理代码和示例。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎

75%
已验证

ONNX 最初由微软和 Facebook(现 Meta)于 2017 年联合发起

70%
已验证

Transformers.js 是 Hugging Face 开发的 JavaScript 库,基于 WebAssembly 和 WebGPU 技术,将 Transformer 模型推理移植到浏览器环境

70%
已验证

ONNX Runtime Web是微软主导的跨平台推理引擎的浏览器版本,能直接加载标准ONNX格式模型

65%
已验证

ONNX(Open Neural Network Exchange)格式允许将PyTorch/TensorFlow模型导出为跨平台的中间表示格式

65%
待验证

MoS-TTS-Nano使用ONNX(Open Neural Network Exchange)格式进行CPU上的高效推理

100%
待验证

Transformers框架同时支持PyTorch和TensorFlow后端,并通过ONNX等格式支持更广泛的部署场景

90%
待验证

ONNX模型导出后,只要保持相同的input_names和output_names,推理代码就是完全通用的,无论模型来自PyTorch还是TensorFlow

90%
待验证

TensorFlow导出ONNX时不需要提供dummy数据,因为tf.function通过AutoGraph将Python代码编译为静态图,input_signature提供的类型和形状信息足以完整描述计算图结构

90%
待验证

onnxruntime-genai包可以用于ONNX格式模型的生成式AI推理

85%
待验证

2019年,ONNX被移交给Linux基金会旗下的LF AI & Data基金会管理

85%
待验证

ONNX(Open Neural Network Exchange)诞生于2017年,最初由Facebook(Meta)和Microsoft联合开发

85%
待验证

许多HuggingFace模型仓库已经提供了ONNX版本,特别是针对CPU和移动端优化的量化模型

80%
待验证

ONNX已获得Amazon、Intel、NVIDIA、Qualcomm等数十家主流硬件和软件厂商的支持

80%
部分验证

ONNX由微软和Facebook于2017年联合发起,目前已成为AI模型互操作的事实标准

75%
待验证

TensorRT是NVIDIA推出的高性能深度学习推理优化器与运行时,自2015年发布

70%
待验证

TensorFlow导出ONNX需要使用tf2onnx库

60%
待验证

Hugging Face上的Timestral模型文件基于PyTorch和safetensors格式,在手机上运行需转换为ONNX格式。

50%
待验证

GitHub上有第三方浏览器演示项目,将Timestral 500万和2800万参数版本转为ONNX,可在浏览器本地运行,不调用API,支持离线推理和上传自定义CSV。

50%
待验证

随着TorchScript、ONNX等中间表示的出现,动态图在性能优化和部署上与静态图的差距已大幅缩小。

50%

来源文章