模型容量

当模型容量有限时，始终常见且一致的知识（低TVS）会优先被压缩表示，而高TVS条目所携带的随时间波动的细粒度信号可能需要更多参数和更长训练才能被充分编码。

若数据分布在d维流形上，则模型的有效容量应由d而非观测维度决定。

研究者提出一种新的监督方案，把模型容量从‘场景外观’转向‘物体动态’，改善了物体保真度，但显著差距依然存在。

‘把模型容量从场景外观转向物体动态’属于监督信号的重新分配，可理解为一种归纳偏置的注入，但无法凭空创造数据中不存在的信息。