GECO: Generación de Imagen a 3D en un SEGundo

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Autores: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Resumen

La generación 3D ha experimentado un progreso notable en los últimos años. Las técnicas existentes, como los métodos de destilación de puntuación, producen resultados destacados, pero requieren una optimización extensa por escena, lo que afecta la eficiencia en términos de tiempo. Por otro lado, los enfoques basados en reconstrucción priorizan la eficiencia, pero comprometen la calidad debido a su manejo limitado de la incertidumbre. Presentamos GECO, un método novedoso para el modelado generativo 3D de alta calidad que opera en un segundo. Nuestro enfoque aborda los problemas prevalentes de incertidumbre e ineficiencia en los métodos actuales mediante un proceso de dos etapas. En la etapa inicial, entrenamos un modelo generativo multi-vista de un solo paso con destilación de puntuación. Luego, se aplica una destilación en la segunda etapa para abordar el desafío de la inconsistencia de vistas en la predicción multi-vista. Este proceso de dos etapas asegura un enfoque equilibrado en la generación 3D, optimizando tanto la calidad como la eficiencia. Nuestros experimentos exhaustivos demuestran que GECO logra una generación de imagen a 3D de alta calidad con un nivel de eficiencia sin precedentes.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.