Coarse3D：可控且忠实的稀疏结构生成，提升图像到3D质量

图像到3D生成领域迎来新突破。Coarse3D 模型通过改进稀疏结构生成阶段，实现了方向可控且与输入图像高度一致的体素几何，为后续精细化生成奠定坚实基础。

背景：稀疏结构为何关键

在 coarse-to-fine 的3D原生生成流程中，第一阶段生成的稀疏结构决定了物体的全局朝向和整体几何，对最终3D模型的质量至关重要。然而，现有粗生成器存在两大痛点：其一，由于语义规范化模糊，生成方向难以控制；其二，2D-3D grounding 较弱，导致生成结构与输入图像不一致。Coarse3D 正是针对这两个问题提出的解决方案。

据论文描述，Coarse3D 能够从任意无位姿图像生成方向可控且结构忠实的体素几何，并且可以直接替换现有流程中的粗阶段。

coarse-to-fine 生成范式是3D内容生成中的常见策略：先生成低分辨率或低细节的全局结构（粗阶段），再逐步细化局部几何与纹理（细阶段）。这种分而治之的方式能显著降低直接生成高精度3D模型的难度与计算成本。在3D原生生成中，粗阶段通常输出体素、点云或隐式场等稀疏表示，其质量直接决定后续细化能否收敛到合理结果。因此，粗阶段不仅要保证几何合理，还需与输入图像在语义和空间上对齐，否则误差会在细化阶段被放大。Coarse3D 的改进正是聚焦于这一承上启下的关键环节。

三项核心设计

Coarse3D 引入了三个关键设计来提升生成质量：

1. 首帧锚定的规范空间：将生成过程与第一张输入视图对齐，同时保留物体中心的归一化，从而实现对生成方向的显式控制。

2. 双塔 DiT：将生成与辅助的前馈重建耦合，学习具有空间 grounding 的特征，增强2D与3D之间的关联。

3. 空间先验引导注意力：利用像素到体素的对应关系正则化交叉注意力，进一步确保生成结构与输入图像的一致性。

这些设计共同作用，使得 Coarse3D 在稀疏结构质量和最终3D生成效果上均有显著提升。

DiT（Diffusion Transformer） 是将 Transformer 架构引入扩散模型主干的生成模型，通常以 patch 序列作为输入，通过自注意力建模全局依赖。相比基于 U-Net 的扩散模型，DiT 在扩展性和长程关系建模上更具优势。本文的“双塔 DiT”指并行运行两个 Transformer 塔：一个负责生成（去噪），另一个作为辅助的前馈重建分支，二者共享或交互特征，从而让生成过程获得来自输入图像的空间监督信号，增强2D-3D grounding。这种耦合设计相当于在生成主干之外增加了一条“重建约束”通路，有助于抑制结构漂移。

交叉注意力（cross-attention） 是 Transformer 中让一个序列（如3D体素 token）查询另一个序列（如2D图像特征）的机制，常用于条件生成。在图像到3D任务中，交叉注意力负责将图像信息注入3D生成过程，但其注意力分布往往缺乏空间约束，容易导致结构错位。空间先验引导注意力利用像素与体素之间的几何对应关系（如相机投影）构造先验掩码或偏置，对交叉注意力进行正则化，使每个3D token 更关注图像中与其空间位置对应的区域。这相当于为注意力提供了“几何锚点”，从而提升生成结构对输入图像的忠实度。

实验表现：质量与一致性双赢

论文实验表明，Coarse3D 在稀疏结构生成质量上大幅领先，并且能够持续增强最终的3D生成效果，达到了 state-of-the-art 性能。由于 Coarse3D 可直接替换现有流程的粗阶段，其改进具有即插即用的特性，有望推动图像到3D生成技术的实际应用。

意义与展望

Coarse3D 解决了稀疏结构生成中的方向控制和结构一致性问题，为图像到3D生成提供了更可靠的中间表示。其设计思路也启示我们，通过引入空间先验和辅助重建任务，可以有效地将2D图像信息注入3D生成过程。未来，该技术或可扩展至更复杂的场景和动态物体生成。

（注：本文基于公开论文信息，具体细节请参考原文。）