CRM: Von einem einzelnen Bild zu einer 3D-texturierten Mesh mit konvolutioneller Rekonstruktion Modell

CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

March 8, 2024

Autoren: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Zusammenfassung

Feed-Forward 3D-generative Modelle wie das Large Reconstruction Model (LRM) haben eine außergewöhnliche Generierungsgeschwindigkeit gezeigt. Die auf Transformer basierenden Methoden nutzen jedoch nicht die geometrischen Prioritäten des Triplane-Komponenten in ihrer Architektur, was häufig zu suboptimaler Qualität führt, aufgrund der begrenzten Größe der 3D-Daten und des langsamen Trainings. In dieser Arbeit präsentieren wir das Convolutional Reconstruction Model (CRM), ein hochwertiges Feed-Forward-Einzelbild-zu-3D-generative Modell. Unter Berücksichtigung der Einschränkungen durch spärliche 3D-Daten betonen wir die Notwendigkeit, geometrische Prioritäten in das Netzwerkdesign zu integrieren. CRM baut auf der Schlüsselbeobachtung auf, dass die Visualisierung des Triplanes eine räumliche Übereinstimmung von sechs orthografischen Bildern aufweist. Zunächst generiert es sechs orthografische Ansichtsbilder aus einem einzigen Eingabebild und speist diese Bilder dann in ein Convolutional U-Net ein, wobei es seine starken Pixel-Ebene-Ausrichtungsfähigkeiten und die signifikante Bandbreite nutzt, um einen hochauflösenden Triplane zu erstellen. CRM verwendet außerdem Flexicubes als geometrische Darstellung, die eine direkte End-to-End-Optimierung auf texturierten Netzen ermöglichen. Insgesamt liefert unser Modell in nur 10 Sekunden ein hochwertiges texturiertes Netz aus einem Bild, ohne jegliche Testzeit-Optimierung.

English

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.