GECO: Generazione di Immagini in 3D in un SECOndo

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Autori: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Abstract

La generazione 3D ha registrato progressi significativi negli ultimi anni. Le tecniche esistenti, come i metodi di distillazione del punteggio, producono risultati notevoli ma richiedono un'ottimizzazione estesa per ogni scena, influenzando l'efficienza temporale. In alternativa, gli approcci basati sulla ricostruzione privilegiano l'efficienza ma compromettono la qualità a causa della loro gestione limitata dell'incertezza. Introduciamo GECO, un metodo innovativo per la modellazione generativa 3D di alta qualità che opera in un secondo. Il nostro approccio affronta i problemi prevalenti di incertezza e inefficienza nei metodi attuali attraverso una strategia in due fasi. Nella fase iniziale, addestriamo un modello generativo multi-vista a singolo passo con distillazione del punteggio. Successivamente, viene applicata una distillazione di seconda fase per affrontare la sfida dell'inconsistenza delle viste derivante dalla previsione multi-vista. Questo processo in due fasi garantisce un approccio bilanciato alla generazione 3D, ottimizzando sia la qualità che l'efficienza. I nostri esperimenti completi dimostrano che GECO raggiunge una generazione immagine-3D di alta qualità con un livello di efficienza senza precedenti.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.