GECO: Generative Bild-zu-3D innerhalb einer SEKunde

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Autoren: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Zusammenfassung

Die 3D-Generierung hat in den letzten Jahren bemerkenswerte Fortschritte gemacht. Bestehende Techniken, wie beispielsweise Score-Destillationsmethoden, liefern beachtliche Ergebnisse, erfordern jedoch umfangreiche Optimierungen pro Szene, was sich auf die Zeiteffizienz auswirkt. Alternativ priorisieren rekonstruktionsbasierte Ansätze Effizienz, gehen jedoch aufgrund ihres begrenzten Umgangs mit Unsicherheit Kompromisse bei der Qualität ein. Wir stellen GECO vor, eine neuartige Methode für hochwertiges 3D-generatives Modellieren, die innerhalb einer Sekunde arbeitet. Unser Ansatz begegnet den vorherrschenden Problemen von Unsicherheit und Ineffizienz in aktuellen Methoden durch einen zweistufigen Ansatz. In der ersten Stufe trainieren wir ein Single-Step-Multi-View-generatives Modell mit Score-Destillation. Anschließend wird eine Destillation in der zweiten Stufe angewendet, um die Herausforderung der Ansichtsinhärenz aus der Multi-View-Vorhersage anzugehen. Dieser zweistufige Prozess gewährleistet einen ausgewogenen Ansatz für die 3D-Generierung, der sowohl Qualität als auch Effizienz optimiert. Unsere umfassenden Experimente zeigen, dass GECO eine hochwertige Bild-zu-3D-Generierung mit einem beispiellosen Maß an Effizienz erreicht.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.