ONNX
ONNX(Open Neural Network Exchange,开放神经网络交换格式)是由微软和Facebook联合发起的开放标准,用于表示机器学习模型的通用中间格式。它定义了一套通用的算子集合和数据类型规范,使模型能够在PyTorch、TensorFlow等不同训练框架之间相互转换,并通过ONNX Runtime等推理引擎在多种硬件平台上部署,从而解决深度学习框架互操作性问题。
核心事实
时间轴 (近 90 天)
Hugging Face上的Timestral模型文件基于PyTorch和safetensors格式,在手机上运行需转换为ONNX格式。
GitHub上有第三方浏览器演示项目,将Timestral 500万和2800万参数版本转为ONNX,可在浏览器本地运行,不调用API,支持离线推理和上传自定义CSV。
随着TorchScript、ONNX等中间表示的出现,动态图在性能优化和部署上与静态图的差距已大幅缩小。
ONNX(Open Neural Network Exchange)是一种开放的模型表示格式,旨在让不同训练框架(如 PyTorch、TensorFlow)导出的模型能被多种推理引擎加载。
一位约一年经验的印度汽车嵌入式软件工程师,技术栈覆盖 C/C++、Python、嵌入式系统、ARM、RTOS 和 Linux 基础,正在学习机器学习和深度学习基础,并计划围绕 ASR/TTS、模型部署、ONNX、量化及边缘硬件推理构建实战项目。
训练完成后,模型被导出为ONNX文件用于部署;作者在ONNX文件中添加了TRAIN_CONFIG字段以记录所有训练配置,方便追溯。
向量归一化参数仍需额外文件保存,因为归一化层若未一并固化到计算图中,推理端就需要单独保存并加载这些统计量,否则观测分布偏移会导致策略失效。
BitLens 通过钩子包裹 PyTorch 的 nn.Module 或 ONNX 计算图,为权重(对称逐通道)和激活(非对称逐张量)各采集 128-bin 直方图。
BitLens 是一个开源项目,通过一次校准完成逐层量化敏感度分析,并导出主流框架的量化配置。
开源项目 onnx-wakeword 提供了在本地应用中运行 ONNX 唤醒词与关键词检测模型的推理代码和示例。
还有 40 条时间轴事件
全部知识事实 (20)
ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎
75%已验证ONNX 最初由微软和 Facebook(现 Meta)于 2017 年联合发起
70%已验证Transformers.js 是 Hugging Face 开发的 JavaScript 库,基于 WebAssembly 和 WebGPU 技术,将 Transformer 模型推理移植到浏览器环境
70%已验证ONNX Runtime Web是微软主导的跨平台推理引擎的浏览器版本,能直接加载标准ONNX格式模型
65%已验证ONNX(Open Neural Network Exchange)格式允许将PyTorch/TensorFlow模型导出为跨平台的中间表示格式
65%待验证MoS-TTS-Nano使用ONNX(Open Neural Network Exchange)格式进行CPU上的高效推理
100%待验证Transformers框架同时支持PyTorch和TensorFlow后端,并通过ONNX等格式支持更广泛的部署场景
90%待验证ONNX模型导出后,只要保持相同的input_names和output_names,推理代码就是完全通用的,无论模型来自PyTorch还是TensorFlow
90%待验证TensorFlow导出ONNX时不需要提供dummy数据,因为tf.function通过AutoGraph将Python代码编译为静态图,input_signature提供的类型和形状信息足以完整描述计算图结构
90%待验证onnxruntime-genai包可以用于ONNX格式模型的生成式AI推理
85%待验证2019年,ONNX被移交给Linux基金会旗下的LF AI & Data基金会管理
85%待验证ONNX(Open Neural Network Exchange)诞生于2017年,最初由Facebook(Meta)和Microsoft联合开发
85%待验证许多HuggingFace模型仓库已经提供了ONNX版本,特别是针对CPU和移动端优化的量化模型
80%待验证ONNX已获得Amazon、Intel、NVIDIA、Qualcomm等数十家主流硬件和软件厂商的支持
80%部分验证ONNX由微软和Facebook于2017年联合发起,目前已成为AI模型互操作的事实标准
75%待验证TensorRT是NVIDIA推出的高性能深度学习推理优化器与运行时,自2015年发布
70%待验证TensorFlow导出ONNX需要使用tf2onnx库
60%待验证Hugging Face上的Timestral模型文件基于PyTorch和safetensors格式,在手机上运行需转换为ONNX格式。
50%待验证GitHub上有第三方浏览器演示项目,将Timestral 500万和2800万参数版本转为ONNX,可在浏览器本地运行,不调用API,支持离线推理和上传自定义CSV。
50%待验证随着TorchScript、ONNX等中间表示的出现,动态图在性能优化和部署上与静态图的差距已大幅缩小。
50%