POLYDIM
一种基于高维流形表示的新型推理架构,将推理轨迹映射为球面上的等距测地线,避免一维token序列化导致的信息损失。
时间轴 (近 90 天)
Reddit上有一个研究组公开了他们的工作POLYDIM / EinsofOS,试图从表示层面绕开注意力二次复杂度和一维token信息损耗问题。
POLYDIM的核心主张是:不再用离散的一维自回归token承载推理,而是把推理轨迹直接映射为球面 S^(D-1) 上的等距测地线,其中 D ≥ 1024。
论文在Stiefel流形 St(k, D) 上做优化,采用四阶极分解回缩配合Neumaier补偿累加器,报告的正交性误差为 ||X^T X - I_k|| ≤ 10^-15,且不出现灾难性漂移。
该正交性误差界(10^-15)是作者主动邀请社区批评的部分,作者明确表示希望收到polar retraction边界方面的质疑。
该工作提供C++20 AVX-512与Triton GPU kernel实现,并在600次压力试验中完成测试。
该工作的几何公理在Lean 4中完成形式化验证。
核心指标(正交性界、亚毫秒延迟、600次压力试验)均由作者报告,尚无独立复现。
全部知识事实 (7)
该正交性误差界(10^-15)是作者主动邀请社区批评的部分,作者明确表示希望收到polar retraction边界方面的质疑。
50%待验证POLYDIM的核心主张是:不再用离散的一维自回归token承载推理,而是把推理轨迹直接映射为球面 S^(D-1) 上的等距测地线,其中 D ≥ 1024。
50%待验证论文在Stiefel流形 St(k, D) 上做优化,采用四阶极分解回缩配合Neumaier补偿累加器,报告的正交性误差为 ||X^T X - I_k|| ≤ 10^-15,且不出现灾难性漂移。
50%待验证核心指标(正交性界、亚毫秒延迟、600次压力试验)均由作者报告,尚无独立复现。
50%待验证该工作提供C++20 AVX-512与Triton GPU kernel实现,并在600次压力试验中完成测试。
50%待验证该工作的几何公理在Lean 4中完成形式化验证。
50%待验证Reddit上有一个研究组公开了他们的工作POLYDIM / EinsofOS,试图从表示层面绕开注意力二次复杂度和一维token信息损耗问题。
50%