CRM: Enkelvoudig beeld naar 3D-textuurmesh met Convolutionele Reconstructie Model

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Auteurs: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Samenvatting

Feed-forward 3D-generatieve modellen zoals het Large Reconstruction Model (LRM) hebben een uitzonderlijke generatiesnelheid aangetoond. De transformer-gebaseerde methoden benutten echter niet de geometrische priors van de triplane-component in hun architectuur, wat vaak leidt tot suboptimale kwaliteit gezien de beperkte omvang van 3D-data en de trage training. In dit werk presenteren we het Convolutional Reconstruction Model (CRM), een hoogwaardig feed-forward single image-to-3D generatief model. Erkennend de beperkingen die worden opgelegd door schaarse 3D-data, benadrukken we de noodzaak om geometrische priors te integreren in het netwerkontwerp. CRM bouwt voort op de cruciale observatie dat de visualisatie van een triplane ruimtelijke correspondentie vertoont met zes orthografische afbeeldingen. Eerst genereert het zes orthografische aanzichten vanuit een enkele invoerafbeelding, waarna deze afbeeldingen worden ingevoerd in een convolutionele U-Net, waarbij de sterke pixeluitlijning en aanzienlijke bandbreedte worden benut om een hoogwaardige triplane te creëren. CRM maakt verder gebruik van Flexicubes als geometrische representatie, wat directe end-to-end optimalisatie op textuurmeshes mogelijk maakt. Over het geheel genomen levert ons model in slechts 10 seconden een hoogwaardige textuurmesh op vanuit een afbeelding, zonder enige optimalisatie tijdens de testfase.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.