CRM: Malla Texturizada 3D a partir de una Imagen Única con Modelo de Reconstrucción Convolucional

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Autores: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Resumen

Los modelos generativos feed-forward 3D, como el Large Reconstruction Model (LRM), han demostrado una velocidad de generación excepcional. Sin embargo, los métodos basados en transformers no aprovechan los priors geométricos del componente triplano en su arquitectura, lo que a menudo resulta en una calidad subóptima debido al tamaño limitado de los datos 3D y al entrenamiento lento. En este trabajo, presentamos el Convolutional Reconstruction Model (CRM), un modelo generativo feed-forward de imagen única a 3D de alta fidelidad. Reconociendo las limitaciones impuestas por los datos 3D escasos, destacamos la necesidad de integrar priors geométricos en el diseño de la red. CRM se basa en la observación clave de que la visualización del triplano exhibe una correspondencia espacial de seis imágenes ortográficas. Primero, genera seis imágenes de vista ortográfica a partir de una única imagen de entrada, luego alimenta estas imágenes en una U-Net convolucional, aprovechando sus fuertes capacidades de alineación a nivel de píxel y su ancho de banda significativo para crear un triplano de alta resolución. CRM además emplea Flexicubes como representación geométrica, facilitando la optimización directa de extremo a extremo en mallas texturizadas. En general, nuestro modelo entrega una malla texturizada de alta fidelidad a partir de una imagen en solo 10 segundos, sin ninguna optimización en tiempo de prueba.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.