GECO: Generatief beeld-naar-3D binnen een SECONde

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Auteurs: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Samenvatting

3D-generatie heeft de afgelopen jaren opmerkelijke vooruitgang geboekt. Bestaande technieken, zoals score-distillatiemethoden, leveren indrukwekkende resultaten op, maar vereisen uitgebreide optimalisatie per scène, wat de tijdefficiëntie beïnvloedt. Reconstructiegebaseerde benaderingen daarentegen prioriteren efficiëntie, maar leveren in op kwaliteit vanwege hun beperkte omgang met onzekerheid. Wij introduceren GECO, een nieuwe methode voor hoogwaardige 3D-generatieve modellering die binnen een seconde opereert. Onze aanpak adresseert de veelvoorkomende problemen van onzekerheid en inefficiëntie in huidige methoden via een tweestapsbenadering. In de eerste fase trainen we een eenstaps multi-view generatief model met score-distillatie. Vervolgens wordt een tweede distillatiefase toegepast om de uitdaging van view-inconsistentie vanuit de multi-view voorspelling aan te pakken. Dit tweestapsproces zorgt voor een gebalanceerde benadering van 3D-generatie, waarbij zowel kwaliteit als efficiëntie worden geoptimaliseerd. Onze uitgebreide experimenten tonen aan dat GECO hoogwaardige image-to-3D-generatie bereikt met een ongekend niveau van efficiëntie.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.