CRM: Da Immagine Singola a Mesh 3D Testurizzata con Modello di Ricostruzione Convoluzionale

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Autori: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Abstract

I modelli generativi feed-forward 3D come il Large Reconstruction Model (LRM) hanno dimostrato una velocità di generazione eccezionale. Tuttavia, i metodi basati su transformer non sfruttano i prior geometrici del componente triplane nella loro architettura, portando spesso a una qualità subottimale a causa delle dimensioni limitate dei dati 3D e dell'addestramento lento. In questo lavoro, presentiamo il Convolutional Reconstruction Model (CRM), un modello generativo feed-forward single image-to-3D ad alta fedeltà. Riconoscendo i limiti imposti dai dati 3D sparsi, evidenziamo la necessità di integrare i prior geometrici nella progettazione della rete. CRM si basa sull'osservazione chiave che la visualizzazione del triplane mostra una corrispondenza spaziale di sei immagini ortografiche. Innanzitutto, genera sei immagini in vista ortografica da una singola immagine di input, quindi alimenta queste immagini in una U-Net convoluzionale, sfruttando le sue forti capacità di allineamento a livello di pixel e una significativa larghezza di banda per creare un triplane ad alta risoluzione. CRM utilizza inoltre Flexicubes come rappresentazione geometrica, facilitando un'ottimizzazione diretta end-to-end su mesh texturizzate. Nel complesso, il nostro modello produce una mesh texturizzata ad alta fedeltà da un'immagine in soli 10 secondi, senza alcuna ottimizzazione al momento del test.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.