配资网上配资网站配资

公司配资仅在局部区域内计算注意力

量子位 | 公众号 QbitAI

在高质量 3D 生成需求日益增长的背景下，如何高效生成结构精良、几何精细的三维资产，已成为 AIGC 和数字内容创作领域的关键挑战。

尽管近年来的 3D 生成方法发展迅速，精度越来越高，但现有框架在兼顾效率和质量上依然面临瓶颈，尤其是在高分辨率建模中，计算的高复杂度严重制约了生成速度和应用落地。

为解决上述困境，南洋理工大学联合数美万物、西湖大学提出了 Ultra3D：一种全新的 3D 生成框架。

Ultra3D 提出了一种 coarse-to-fine 的两阶段生成流程，高效实现高分辨率三维资产建模，刷新了 3D 生成质量的上限。在第一阶段，Ultra3D 利用高效的 VecSet 表示快速生成 coarse mesh，并导出稀疏体素；在第二阶段，引入新提出局部化的 Part Attention，对每个体素进行细粒度特征建模。

该机制仅在语义一致的局部区域内进行注意力计算，大幅降低全局注意力的冗余计算，有效提升生成效率。该方法支持 1024 分辨率输出，实现在保持高保真度的同时，实现高达 6.7 × 的加速比，为三维资产的快速生成和下游应用提供了切实可行的解决方案。

3D 生成领域近年来进展迅猛，稀疏体素凭借其对表面细节强大的建模能力成为了近来的各个 SoTA 方法普遍采用的 3D 表征。

这一表征将 3D 物体编码成稀疏体素以及与各个体素对应的 latent token。其虽然表达能力非常强，但由于其 token 数目巨大，在高分辨率下往往过万，所以导致其计算效率很低。

鉴于此，之前的工作往往局限于一个较低的分辨率，从而难以冲击更高的质量。为解决这一问题，Ultra3D 旨在提出一个全新的兼顾效率和质量的二阶段生成 pipeline，在不降低质量的情况下大幅加速了训练和推理，从而将其扩展到了更高的分辨率和更高的质量。

Ultra3D 由一个二阶段的 Pipeline 构成：第一阶段通过紧凑高效的 VecSet 表征快速生成 coarse mesh，并据此体素化得到稀疏体素的结构布局；第二阶段则基于该布局引入结构感知的 Part Attention，对每个体素进行 latent feature 精细建模。

Part Attention 通过几何对齐的语义分组，仅在局部区域内计算注意力，大幅减少计算冗余，同时保持几何连续性和细节质量。实验显示，Ultra3D 可在不牺牲生成质量的前提下，实现 3.3 × 的整体加速，并在多个指标上超越现有 SoTA 方法，兼具速度与保真。

Ultra3D 的核心在于其新提出的 part attention 机制，sparse voxel 这一表征虽然表达力很强，但苦于其 token 数太大，导致 attention 的计算开销巨大。

为解决这一问题，Ultra3D 提出了一种专为 3D 设计的 part attention，其将 attention 计算限制在同一个 part group 内，避免了冗余的全局 attention，从而在不降低质量的情况下大幅度地降低了计算压力。

一个简单的替代方案是使用在大语言模型领域常用到的 window attention，但如下图所示，实验表明这种 attention 直接运用到 3D 中会导致质量的下降。这是因为其固定的分割模式与 3D 物体的语义并不吻合。

与其他方法的对比实验和 user study 表明，Ultra3D 在生成质量上远超了之前的 SoTA 方法，能生产具有高精度细节的高分辨 mesh。attention 的 ablation 实验也表明 part attention 是更加适用与 3D 生成的 local attention 机制。