FactorSplat：可控外观的高斯代理，为医学体渲染解绑传递函数

医学体渲染的老难题：传递函数被“烤死”在模型里

在CT、MR等医学影像的三维可视化中，传递函数（Transfer Function, TF）扮演着关键角色——它决定了不同强度值的组织被映射成什么颜色、以何种透明度显示。医生调整TF，就能让骨骼、软组织、血管等结构在同一份扫描数据中突出或隐藏。

问题在于，近年来用图像训练的高斯代理（Gaussian proxy）渲染方法虽然速度快、质量高，却普遍存在一个硬伤：它们在训练时把某一个固定的传递函数“烤”进了模型的外观表示里。换句话说，一旦训练完成，模型只会呈现那一套配色和可见性方案。想换一个TF预设查看另一种组织结构？往往意味着重新训练。这对需要实时交互、频繁切换查看方式的临床和科研场景来说，是个明显的瓶颈。

FactorSplat 项目示意

FactorSplat 的核心思路：把外观“因子化”

arXiv 最新论文提出的 FactorSplat，正是针对这一痛点设计的。它是一种按场景训练的 N 维高斯泼溅（N-Dimensional Gaussian Splatting, N-DGS）代理，关键能力是：在推理阶段直接接受区域特定的“强度到RGBA曲线”，无需重新训练即可改变外观。

从名字就能看出它的设计哲学——factor（因子分解）。FactorSplat 把渲染外观拆成几个可组合的部分：

局部查找（local lookup）：直接应用作者（医生或可视化专家）编写的颜色与不透明度变化，响应最直接的TF编辑意图。
共享功能编码器（shared functional encoder） 配合 每高斯低秩因子（low-rank per-Gaussian factors）：学习TF变化带来的残差外观响应，也就是那些局部查找无法简单覆盖的细微外观差异。
跨预设共享的几何与方向性外观：模型的几何结构和视角相关外观在不同TF预设之间保持共享，避免为每个预设重复存储。

这种分解让“不变的部分（几何）”和“可变的部分（配色与可见性）”解耦，从而实现一个 checkpoint 支撑多种TF编辑。

可见性控制与 TF 感知剪枝

医学可视化不仅关乎配色，更关乎“看见与隐藏”。FactorSplat 保留了可见性控制（visibility control）与 TF 感知剪枝（TF-aware pruning），确保用户在切换传递函数时，仍能自由地隐藏或显露特定解剖结构，而不会因为剪枝丢失了后续可能需要显示的信息。这一点对诊断场景尤为重要——某些结构在当前预设下被隐藏，但换个预设就需要清晰呈现。

实验结果：四类任务全面超越基线

论文在 7 份 CT 与 MR 扫描数据上进行了评估，对比对象是区域感知的 VEG 方法（region-aware VEG）。测试覆盖四种设定，分别考验模型在不同情况下的泛化能力：

验证（validation）：标准测试
插值（interpolation）：在已知TF之间插值
未见组合（unseen composition）：训练时未出现的TF组合
分布外编辑（OOD edits）：超出训练分布范围的编辑

结果显示，FactorSplat 在平均 PSNR 和变化区域误差（changed-region error）上均优于 VEG。在这四类划分上，七份扫描的平均 PSNR 相比 VEG 提升幅度从 1.10 dB 到 1.52 dB 不等。更重要的是，每份扫描只需一个 checkpoint，就能支持这些未见编辑而无需重新训练——这正是该方法在实用性上的核心卖点。

PSNR（峰值信噪比，Peak Signal-to-Noise Ratio）是图像质量评估中最常用的客观指标，以分贝（dB）为单位衡量重建图像与参考图像之间的像素级误差，数值越高代表重建质量越好。由于PSNR采用对数尺度，1 dB的提升在感知上已相当显著——通常对应肉眼可察觉的细节还原改善。在医学可视化场景下，高PSNR意味着边界轮廓更清晰、组织灰度层次更准确，对依赖精细结构判断的诊断任务尤为重要。FactorSplat 在四类测试设定中均实现超过1 dB的提升，表明其优势并非仅限于标准测试条件，在实际临床中更难处理的"未见组合"与"分布外编辑"场景下同样稳健。

性能表现：实时交互可行

速度是另一大亮点。在 $1600^2$ 分辨率下，带缓存的快速渲染器平均达到 524 FPS，而切换传递函数的耗时仅为 1.17 毫秒。这意味着用户在实时查看三维医学体数据的同时，可以几乎无感延迟地切换配色与可见性预设，交互体验流畅。对于需要边看边调的放射科医生或可视化研究者而言，这种响应速度基本消除了TF切换的等待成本。

意义与展望

FactorSplat 的价值在于，它把高斯泼溅这类高效神经渲染技术，与医学可视化中对“可控、可交互外观”的刚性需求结合了起来。过去高斯代理方法在速度和画质上表现突出，却牺牲了TF的灵活性；FactorSplat 通过外观因子分解，在保持高帧率的同时，恢复了传递函数的编辑自由度，并且泛化到未见过的编辑组合。

当然，作为一项按场景训练的方法，它仍需为每份扫描单独训练一个模型，距离“通用预训练一次、处处可用”还有距离。但对于临床与科研中逐例分析的工作流而言，一次训练支撑多种交互编辑已经是实实在在的进步。感兴趣的读者可访问项目主页 https://gaozhongpai.github.io/FactorSplat/ 了解更多细节。

背景补充

高斯泼溅（Gaussian Splatting）是近年兴起的一种场景表示与实时渲染技术，其核心思想是用大量三维高斯椭球来表示场景的几何与外观信息，通过可微分光栅化将这些高斯投影到图像平面并混合成最终像素颜色。与神经辐射场（NeRF）相比，高斯泼溅的渲染速度通常快几个数量级，更易达到实时帧率，因而近年来被引入医学体数据可视化领域。然而，传统高斯泼溅直接将颜色和不透明度参数绑定在每个高斯上，一旦训练完成，这些外观参数就固定下来，无法在推理时响应传递函数的动态调整——这正是"烤死"问题的技术根源。

低秩分解（Low-Rank Decomposition）是一种常见的参数压缩与泛化技术，核心思想是将一个高维矩阵表示为两个或多个低秩矩阵的乘积，从而大幅减少参数量的同时保留主要变化方向。FactorSplat 中"每高斯低秩因子"的设计借鉴了这一思路：不为每个高斯单独存储完整的外观变化向量，而是共享一个紧凑的因子基，再由每个高斯持有少量系数加以组合。这样既能捕捉不同高斯在不同传递函数下的差异化响应，又避免了参数规模随TF预设数量线性膨胀，是在表达能力与存储效率之间取得平衡的关键设计。