GECO : Génération d'images en 3D en une SECOnde

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Auteurs: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Résumé

La génération 3D a connu des progrès remarquables ces dernières années. Les techniques existantes, telles que les méthodes de distillation de score, produisent des résultats notables mais nécessitent une optimisation approfondie par scène, ce qui impacte l'efficacité temporelle. Alternativement, les approches basées sur la reconstruction privilégient l'efficacité mais compromettent la qualité en raison de leur gestion limitée de l'incertitude. Nous présentons GECO, une nouvelle méthode pour la modélisation générative 3D de haute qualité qui opère en une seconde. Notre approche aborde les problèmes prévalents d'incertitude et d'inefficacité des méthodes actuelles grâce à un processus en deux étapes. Dans la première étape, nous entraînons un modèle génératif multi-vues en une seule étape avec distillation de score. Ensuite, une distillation de deuxième étape est appliquée pour résoudre le défi de l'incohérence de vue provenant de la prédiction multi-vues. Ce processus en deux étapes garantit une approche équilibrée de la génération 3D, optimisant à la fois la qualité et l'efficacité. Nos expériences approfondies démontrent que GECO réalise une génération image-à-3D de haute qualité avec un niveau d'efficacité sans précédent.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.