从PID到强化学习：HVAC控制架构综述

建筑暖通空调（HVAC）系统的控制策略正处在节能、舒适与设备可操作性三重目标的拉扯之中。一篇新近的综述论文系统梳理了从经典PID调节到数据驱动强化学习（RL）的控制架构谱系，并提出了一个关键论断：这些方法并非相互竞争的哲学，而是同一套HVAC设备上嵌套的介入点。

分层控制栈：PID不是全部

论文将建筑HVAC控制置于一个分层栈中：底层是恒温器-PID调节层，涵盖从两位式控制、按计划设定点控制到比例、PI和PID调节及其整定；上层则包括基于规则和基于模型的监督控制，以及数据驱动的强化学习。这一视角打破了“PID vs RL”的二元对立——真正的区别在于介入点在栈中的位置。

恒温器-PID层是大多数建筑实际运行的控制层，其成本低廉且编码成熟，但受限于非线性、时变性、离散模式切换、回路耦合以及慢速被控对象动态。这些限制正是上层监督策略试图弥补的缺口。

PID控制（比例-积分-微分）是工业控制中最经典的反馈调节算法：P项响应当前误差，I项累积历史误差以消除稳态偏差，D项预测误差变化趋势以抑制超调。其输出为 (u(t)=K_p e(t)+K_i\int e,dt+K_d \frac{de}{dt})，三个增益参数决定响应速度、稳态精度与稳定性之间的平衡。整定（tuning）即确定这组参数的过程，常用Ziegler-Nichols、内模法或基于优化的方法。PID不依赖被控对象的显式模型，计算量极低，因而成为恒温器、风阀、水阀等末端回路的默认选择。但其局限也源于此：面对强非线性、参数漂移、模式切换和回路间耦合时，固定增益难以在全工况下保持最优，这正是引入上层监督或学习型策略的动因。

RL与PID相遇的四种方式

论文的核心贡献是提出了RL与PID交汇点的分类学，包含四类架构：

RL作为增益整定器：RL不直接控制执行器，而是为现有PID回路调整增益参数。这种方式保留了物理回路的完整性，对状态信息和建模要求相对较低，但RL的作用空间受限于增益调整的粒度。

RL作为调节控制器的直接替代：RL策略直接输出控制信号，取代PID的调节功能。这要求更高的执行权限和状态信息，同时需要处理约束满足问题，部署门槛最高。

RL与模型预测控制（MPC）的混合：RL与MPC结合，利用MPC的约束处理能力和RL的适应性。这种混合架构在约束处理和性能之间寻求平衡，但增加了建模和调试的复杂度。

RL作为监督层生成设定点和调度：RL在上层生成设定点或运行计划，底层仍由PID执行调节。这种架构对执行权限要求最低，但RL的优化空间受限于设定点空间。

模型预测控制（MPC） 在每个采样时刻基于系统模型对未来一段时域内的控制序列求解带约束的优化问题，仅执行第一个控制量后滚动重算。其核心优势是能显式处理执行器限幅、温度上下限等硬约束，并在多变量耦合场景下协调多个回路。在建筑HVAC中，MPC常被用于上层监督，例如以能耗和舒适度为目标优化冷机出水温度、送风设定点或蓄冷调度。MPC的短板在于依赖可用的预测模型和在线求解算力，建模误差与计算负担限制了其在小型设备上的普及。RL与MPC的混合正是试图用学习来补偿模型偏差或降低在线求解成本，同时保留MPC的约束处理框架。

一个不变的事实：物理回路保持不变

贯穿这四类架构的一个关键观察是：物理回路本身保持不变，变化的只是介入点。这一认识具有重要的工程意义——它意味着RL的部署不必推翻现有PID基础设施，而是可以在不同层级上叠加。论文强调，RL的“可接受位置”必须被论证而非假设，不同架构对执行权限、状态信息、建模、调试和约束处理的要求各不相同。

执行权限（actuation authority） 指某一控制层能够直接操纵的物理量范围。直接输出阀门开度或压缩机频率属于高执行权限，而仅能修改设定点或运行计划则属于低执行权限。权限越高，策略对设备行为的影响越直接，潜在的节能与舒适收益越大，但同时对安全性、约束满足和故障容错的要求也越严苛。低权限的监督层即使策略失误，底层PID仍能维持基本稳定，因而部署风险更低。评估RL架构时，明确其执行权限边界是判断可行性与失效后果的前提，也是决定是否需要额外安全护盾（safety shield）或回退机制的依据。

部署权衡：没有免费午餐

论文指出，部署权衡必须根据具体的控制接口和脚手架需求来评估。PID的优势在于成本低、编码成熟，但其局限性在非线性、时变和回路耦合场景中尤为突出。RL则提供了适应性和优化潜力，但引入了对数据、建模和调试的新要求。混合实现是可能的，且往往是现实路径。

这一综述的实践价值在于，它为工程师提供了一个决策框架：不是问“该用PID还是RL”，而是问“在当前控制接口和脚手架条件下，RL应该介入哪一层”。