CRM: Malha Texturizada 3D a partir de uma Única Imagem com Reconstrução Convolucional

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Autores: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Resumo

Modelos generativos 3D feed-forward, como o Large Reconstruction Model (LRM), demonstraram uma velocidade de geração excepcional. No entanto, os métodos baseados em transformers não aproveitam os priors geométricos do componente triplane em sua arquitetura, frequentemente resultando em qualidade subótima devido ao tamanho limitado dos dados 3D e ao treinamento lento. Neste trabalho, apresentamos o Convolutional Reconstruction Model (CRM), um modelo generativo feed-forward de alta fidelidade que gera uma imagem única para 3D. Reconhecendo as limitações impostas pelos dados 3D esparsos, destacamos a necessidade de integrar priors geométricos no design da rede. O CRM se baseia na observação fundamental de que a visualização do triplane exibe correspondência espacial de seis imagens ortográficas. Primeiro, ele gera seis imagens de vista ortográfica a partir de uma única imagem de entrada, em seguida, alimenta essas imagens em uma U-Net convolucional, aproveitando suas fortes capacidades de alinhamento em nível de pixel e sua largura de banda significativa para criar um triplane de alta resolução. O CRM ainda emprega Flexicubes como representação geométrica, facilitando a otimização direta de malhas texturizadas de ponta a ponta. No geral, nosso modelo produz uma malha texturizada de alta fidelidade a partir de uma imagem em apenas 10 segundos, sem qualquer otimização em tempo de teste.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.