SUPRA-TEX 单图生成超对齐3D纹理
SUPRA-TEX: 3D Generation with Super-Aligned Texture
中文摘要
由模型生成 · 人工抽检SUPRA-TEX 提出解耦可见材质估计、表面对齐与观测引导补全的单图3D生成方法，用MLLM编辑模型预测PBR贴图并投影为原生观测潜变量，再由交错流Transformer补全未观测区域，实现所见即所得的高保真纹理，仅用公开数据即达SOTA。
全文
已译中文单图像3D生成旨在为给定的3D网格赋予可重光照材质，同时忠实保留参考图像的视觉细节。现有方法要么在融合不一致的多视图预测时引入伪影，要么难以通过隐式图像特征条件化来保留精细细节。为解决这些挑战，我们提出SUPRA-Tex，其构建原则是将可见材质估计、表面对齐与观测引导的3D补全解耦。这种分工使在有限3D数据上训练的3D生成器能够将容量集中于保留可见证据和补全未观测表面。具体而言，我们首先训练一个基于MLLM的图像编辑模型，在参考视图中预测光照分离的PBR贴图。随后，我们将这些贴图投影到可见表面，并使用预训练的材质VAE编码器将其编码为原生观测latents，这些latents与生成目标共享同一latent空间。一个交错流Transformer将这些latents作为固定的只读锚点，同时交替进行未观测区域更新与全表面更新，以生成完整的材质latents。该设计实现了与参考的超对齐，在可见区域提供所见即所得的保真度，并在未观测表面上实现连贯补全。仅使用公开数据集训练，SUPRA-Tex在几何条件纹理化和端到端资产生成方面均达到SOTA性能，在真实场景图像上匹配甚至超越领先的商业系统。项目页面：https://supra-3d.github.io/supratex/
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。