概念Split Inference / split inference
拆分推理
边缘AI领域的一种推理范式，将神经网络按层切分为多个子模型部署在不同节点（终端、边缘、云），中间张量通过网络传输，以解决端侧算力/内存受限问题。
时间轴 (近 90 天)
11月4日
拆分推理通过将TinyML模型分段部署到多个IoT设备上，解决单个设备硬件资源不足的问题。
待验证50%
11月4日
拆分推理中任一参与设备故障会导致整个推理流水线中断。
待验证50%
10月14日
研究提出了 Inference on Demand（IoD），试图把拆分推理从应用层的私有实现变成5G用户面上可被网络识别和调度的服务。
待验证50%