平面向量回归加权选择上界改进至11/6

从15/8到11/6：加权选择问题的新突破

在最小Frobenius范数最小二乘回归中，一个核心的理论问题是：对于给定的输入输出维度，最多需要多少个数据点才能保证拟合的某种最优性？近期一篇数学预印本给出了平面向量值回归（两个输入坐标、两个输出坐标）下三点加权选择问题的严格上界。

论文证明了对于两输入两输出坐标的最小Frobenius范数最小二乘回归，有 (F_{\mathrm{weighted}}(2,2,3) < 11/6)，这改进了此前已知的上界 (15/8)。更具体地，存在一个通用常数 (\varepsilon_0 > 0)，使得对任意有限残差框架，都满足 (\mathcal T_3 \le (5/6 - \varepsilon_0)E)。结合已知的下界，最终得到 (13/8 \le F_{\mathrm{weighted}}(2,2,3) < 11/6)。

这一结果虽然抽象，但对于理解回归模型的鲁棒性和数据选择策略具有理论意义。

最小Frobenius范数最小二乘回归是指在线性模型 (y = Ax) 中，寻找系数矩阵 (X) 使得 (|AX - Y|_F^2) 最小化，其中 (|\cdot|F) 为Frobenius范数（矩阵所有元素平方和的平方根）。与逐列独立求解的普通最小二乘不同，Frobenius范数耦合所有输出维度，因此最优解 (X^* = A^+ Y)（(A^+) 为Moore-Penrose伪逆）在数值线性代数中常被称为"矩阵最小二乘"。它在多响应回归、张量分解和神经网络线性层初始化中均有应用。本文讨论的"加权选择"则是在此基础上进一步要求：只保留至多 (k) 个数据点（行）来重构拟合，并衡量相对误差的最坏情况上界，记作 (F{\mathrm{weighted}}(m,n,k))，其中 (m,n) 分别为输入和输出维度。

有限残差框架是加权选择问题中的基本对象。给定数据矩阵 (A) 和响应 (Y)，拟合残差 (R = Y - AX^*) 的列空间构成一个有限维子空间。称一组行索引 (S) 构成"残差框架"，若其对应的残差向量张成整个残差空间。加权选择的核心不等式 (\mathcal T_k \le c \cdot E) 中，(E) 通常指残差的总能量（Frobenius范数的平方），(\mathcal T_k) 则是从 (k) 个点重构残差所需的最小能量。常数 (c) 的下界刻画了"最坏情况下少量点能捕获多少残差能量"。该框架由de Gooijer与Rote等人在研究最小二乘子集选择时系统化，与数值线性代数中的"子空间嵌入"和"杠杆分数采样"密切相关。

证明思路：标量证书、刚性分析与紧性论证

论文的证明融合了三种工具。首先，作者构造了一个精确的标量证书，将向量值问题转化为可验证的标量不等式。其次，他们分析了平面选择中等号成立时的刚性结构，从而排除了接近上界的退化情形。最后，通过紧性论证控制权重消失的极限行为，确保 (\varepsilon_0) 的存在性。

说个细节，论文并未给出 (\varepsilon_0) 的具体数值，这意味着改进是定性的而非定量的。尽管如此，从 (15/8) 到 (11/6) 的严格上界提升仍然代表了理论上的实质性进步。

标量证书（scalar certificate）是优化与证明复杂度中的常用工具：将一个涉及矩阵或向量的不等式，通过构造辅助标量函数（如势函数、对偶变量或拉格朗日乘子）转化为有限个标量不等式的合取，从而使证明可以被逐项验证。在本文中，作者利用平面情形下残差空间的低维结构，将 (2\times 2) 矩阵值的不等式归约为若干标量代数不等式，并给出显式系数。这种方法的好处是证明不依赖数值搜索，且容易检验；代价是证书的构造往往需要问题特定的洞察，难以直接机械化推广。

刚性分析（rigidity analysis）源于组合几何与结构稳定性理论，研究的是：当某个不等式取等号时，对象的配置被强制到何种程度。在本文的平面选择问题中，等号成立对应残差向量与选择权重满足一组代数约束，这些约束将可行配置限制在低维流形上。刚性分析的作用是证明：若上界 (11/6) 被逼近，则配置必须接近这些刚性结构，而这些结构又与已知的下界 (13/8) 矛盾或无法同时满足，从而排除了退化情形。紧性论证则处理权重趋于零的极限：通过证明函数 (F_{\mathrm{weighted}}) 在参数空间上的下半连续性，保证极限配置仍属于可行域，进而使 (\varepsilon_0 > 0) 的存在性由反证法得到。

理论意义与潜在应用

该结果属于向量值回归的近似理论范畴。加权选择问题关注的是：在回归中仅保留少量关键数据点时，拟合质量能保持到什么程度。对于平面情形（输入输出均为二维），三点选择的上界改进意味着在数据压缩或主动学习场景中，理论保证可以更紧。

虽然当前结论停留在渐近常数层面，但证明中使用的标量证书和刚性分析技巧可能推广到更高维或更多点的选择问题，为后续研究提供方法论参考。

总结

这篇工作将平面向量回归三点加权选择的上界从 (15/8) 收紧至 (11/6)，并给出了下界 (13/8)，缩小了理论区间。尽管未提供显式常数，其证明框架对理解回归中的稀疏选择具有参考价值。