副本感知拆分推理：让边缘IoT设备故障不再中断推理

拆分推理（Split Inference, SI）通过将TinyML模型分段部署到多个IoT设备上，解决了单个设备硬件资源不足的问题。但这也引入了一个新风险：一旦某个设备故障，整个推理流水线就会中断。这篇论文提出了一种副本感知的恢复方法，通过将故障设备上的模型段副本重新部署到存活设备上，来维持推理服务的连续性。

问题背景：拆分推理的脆弱性

TinyML模型在IoT设备上的部署一直受限于算力和内存。拆分推理的思路很直接：把模型切成若干段，每段交给不同的设备执行，设备之间通过通信协议传递中间结果。这样，单个设备只需要承载模型的一小部分，硬件门槛大幅降低。

但分布式架构天然比单机架构更脆弱。任何一个参与推理的设备发生故障，整条链路就会断裂。对于工业监控、可穿戴健康设备等场景，推理中断可能意味着数据丢失或响应延迟。论文正是针对这一痛点，提出在故障发生后快速恢复推理能力的机制。

TinyML 指在微控制器、可穿戴设备等资源受限硬件上运行的小型机器学习模型，通常参数量在数十KB到数MB之间，依赖TFLite Micro、CMSIS-NN等轻量级推理框架。与云端推理不同，TinyML强调低功耗、低延迟和本地数据处理，但受限于设备的SRAM（常仅数百KB）和闪存（数MB），单个设备难以承载完整模型。

拆分推理正是为突破这一限制而出现的分布式推理范式：将模型按层切分为多个子图，分别部署到不同设备上，中间张量通过Wi-Fi、BLE或LoRa等链路传输。其核心挑战在于，模型分段点决定了计算负载与通信开销的平衡，分段越多，单设备负担越轻，但链路故障的暴露面也越大。

核心方法：副本放置与协议选择的联合优化

论文将恢复问题形式化为一个混合整数线性规划（MILP）问题。决策变量包括两个维度：哪些存活设备作为副本宿主，以及采用哪种通信协议。目标函数是最小化重配置后的推理延迟，约束条件则来自闪存和运行时内存的限制。

这个建模的关键在于，它同时考虑了计算延迟和传输延迟。副本放在算力强的设备上可能计算更快，但如果通信链路差，传输延迟反而会拖累整体表现。MILP的联合优化能力恰好可以在这两个维度之间做权衡。

通信协议的权重

论文特别提到了通信协议的选择。不同协议在带宽、延迟和可靠性上各有差异，在故障恢复场景下，协议选择会直接影响重配置后的端到端延迟。将协议选择纳入优化变量，而不是固定使用某一种协议，是该方法区别于简单副本复制策略的重要设计。

混合整数线性规划（MILP） 是一类同时包含整数变量和连续变量的线性优化问题，其中整数变量通常用于表示离散决策（如“是否选择某设备作为副本宿主”的0-1变量），连续变量表示延迟、带宽等物理量。MILP的优势在于能精确表达“选择”与“分配”这类组合决策，并借助分支定界等算法求得全局最优解；其代价是求解复杂度随变量规模指数增长，因此在大规模网络中需要借助启发式或分解策略来控制求解时间。

实验设计与结果

仿真实验基于MobileNetV2模型，在异构IoT网络上展开，并与四种基线方法进行了对比。作者还在一个包含15个IoT设备的真实网络中部署了该模型，最大链路速率降低了75%，用以模拟网络条件受限的情况。

结果显示，MILP方法的平均建模端到端推理延迟比Computation Greedy基线低6.8%，比Random基线低18.3%。这两个数字的对比值得注意：Computation Greedy只考虑计算资源的贪心分配，而Random则随机选择副本宿主和协议。MILP相对Random的优势更大，说明系统化的联合优化确实带来了实质收益；相对Computation Greedy的6.8%提升幅度虽然不算大，但考虑到后者已经是一种有策略的基线，这个改进在延迟敏感的IoT场景中仍有意义。

论文没有报告故障恢复的成功率或重配置时间等指标，实验重点集中在延迟这一维度上。

MobileNetV2 是Google提出的轻量级卷积神经网络，采用深度可分离卷积和倒残差结构，参数量约3.4M，在ImageNet上取得约72%的top-1准确率。由于其计算量和内存占用适中，常被用作边缘推理研究的基准模型。在拆分推理实验中，MobileNetV2的层结构清晰、分段点选择灵活，便于研究者控制各段的计算量与中间张量大小，从而观察不同部署策略对端到端延迟的影响。

局限与延伸思考

从摘要透露的信息看，该方法的验证规模为15个设备，模型为MobileNetV2。在更大规模、更高异质性的网络中，MILP的求解时间是否会成为瓶颈，论文未做讨论。故障恢复本身是有时间窗口的，如果优化求解耗时过长，恢复的及时性就会打折扣。

另一个值得关注的方向是副本的存储开销。闪存约束虽然被纳入了模型，但副本本身会占用本就紧张的设备存储资源。在极端资源受限的TinyML设备上，能否放得下副本、放几个副本，可能是比延迟优化更前置的问题。

论文的关键词涵盖了TinyML、拆分推理、物联网、容错和副本放置，整体定位在系统层面的可靠性优化。对于从事边缘AI部署的工程师来说，这项工作的参考价值在于它提供了一个可量化的决策框架：当设备故障发生时，如何用有限的资源最快地把推理链路接回去。