ExecuTorch
PyTorch生态中专注于端侧推理的运行时框架，支持将PyTorch模型高效部署到移动设备、嵌入式系统和边缘硬件，提供模型转换、优化及硬件指令映射能力
核心事实
时间轴 (近 90 天)
在 ExecuTorch 中，算子 lowering 通常经过多个中间表示（如 Edge Dialect），最终映射到 Arm CPU 的特定内核或委托后端。
PyTorch 官方博客近期发布了聚焦于如何借助 ExecuTorch 在 Arm 边缘设备上优化流式语音识别的文章。
流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向，Arm 设备是其明确的目标平台之一。
对于流式 ASR，某些有状态算子或动态形状算子可能没有现成的高效实现，需要额外适配或自定义 lowering。
ExecuTorch支持Arm Cortex-M微控制器，允许PyTorch模型无需经过ONNX等中间格式转换即可在MCU上运行。
ExecuTorch采用分层运行时设计，包括表示层、算子层和后端层（Backend Delegate）。
ExecuTorch引入统一中间表示EXIR，模型通过torch.export导出为EXIR，再由.pte格式打包，交给运行时执行。
ExecuTorch是PyTorch官方在2023年推出的端侧推理运行时，覆盖手机、嵌入式乃至MCU。
对于MCU端的采用率，ExecuTorch需要覆盖Cortex-M上常用的CNN和轻量级Transformer算子，并提供稳定的量化支持。
ExecuTorch解决的是“部署路径”问题，而不是“算力不足”问题；模型规模、算子支持范围、推理延迟仍受限于芯片本身。
还有 22 条时间轴事件
全部知识事实 (20)
ExecuTorch是Meta推出的端侧推理运行时框架，基于PyTorch 2.0的Export机制构建
75%待验证在 ExecuTorch 中，算子 lowering 通常经过多个中间表示（如 Edge Dialect），最终映射到 Arm CPU 的特定内核或委托后端。
50%待验证流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向，Arm 设备是其明确的目标平台之一。
50%待验证对于流式 ASR，某些有状态算子或动态形状算子可能没有现成的高效实现，需要额外适配或自定义 lowering。
50%待验证ExecuTorch采用分层运行时设计，包括表示层、算子层和后端层（Backend Delegate）。
50%待验证ExecuTorch引入统一中间表示EXIR，模型通过torch.export导出为EXIR，再由.pte格式打包，交给运行时执行。
50%待验证ExecuTorch是PyTorch官方在2023年推出的端侧推理运行时，覆盖手机、嵌入式乃至MCU。
50%待验证ExecuTorch解决的是“部署路径”问题，而不是“算力不足”问题；模型规模、算子支持范围、推理延迟仍受限于芯片本身。
50%待验证ExecuTorch通过内存规划在执行前计算各张量的生命周期与偏移，让中间结果复用同一块静态缓冲区，避免运行时malloc/free。
50%待验证ExecuTorch支持Arm Cortex-M微控制器，允许PyTorch模型无需经过ONNX等中间格式转换即可在MCU上运行。
50%待验证谷歌的 MediaPipe LLM Inference、Meta 的 ExecuTorch 以及支持 Android 的 llama.cpp 是成熟的移动端推理框架，能将模型运算映射到手机 GPU 或 NPU 上执行
50%待验证不要信任引擎自报的availability标志，应用一次真实的单token调用去探活并缓存结果
50%待验证在门店审核清单的结构化输出任务中，ExecuTorch（Llama 3.2 1B，schema塞进prompt）20次调用只有2次有效，而Apple Foundation Models（引导式生成）20次全部有效
50%待验证Apple Foundation Models通过引导式生成在框架层面约束模型输出使其必然符合给定类型结构，而ExecuTorch没有对应能力，只能把schema写进prompt
50%待验证ExecuTorch 1B在模拟器上需1.14GB下载（6分12秒）、每次启动约5秒加载、生成时约907MB应用内存、生成速度43 tokens/s，后续调用首字时间中位数579ms
50%待验证React Native 0.87已移除RCTCxxBridge，需打补丁改用RCTTurboModuleWithJSIBindings注入JSI绑定才能编译ExecuTorch相关构建
50%待验证ExecuTorch 0.10默认会上报匿名下载分析数据，必须调用setTelemetryEnabled(false)关闭
50%待验证ExecuTorch的核心设计目标是将训练好的PyTorch模型导出为可在资源受限设备上高效运行的格式，覆盖手机、微控制器乃至可穿戴设备等场景
50%待验证Arm作为边缘计算芯片的核心供应商，有动机参与推动ExecuTorch的学习生态以降低开发者在其平台上部署AI模型的门槛
50%待验证ExecuTorch模型部署链路的每个环节都可能遭遇算子不支持、精度损失或性能不达标等问题
50%