GECO: Генеративное преобразование изображения в 3D за одну секунду

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Авторы: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Аннотация

В последние годы наблюдается замечательный прогресс в области генерации 3D-изображений. Существующие методы, такие как методы дистилляции оценок, достигают значительных результатов, но требуют обширной оптимизации для каждой сцены, что сказывается на эффективности времени. В отличие от них, подходы на основе реконструкции приоритизируют эффективность, но жертвуют качеством из-за ограниченной обработки неопределенности. Мы представляем GECO - новый метод высококачественного генеративного моделирования 3D-изображений, работающий за секунду. Наш подход решает актуальные проблемы неопределенности и неэффективности существующих методов через двухэтапный процесс. На первом этапе мы обучаем многовидовую генеративную модель с дистилляцией оценок. Затем применяется дистилляция на втором этапе для решения проблемы несогласованности видов из многовидового предсказания. Этот двухэтапный процесс обеспечивает сбалансированный подход к генерации 3D-изображений, оптимизируя как качество, так и эффективность. Наши комплексные эксперименты демонстрируют, что GECO достигает высококачественной генерации изображений в 3D с беспрецедентным уровнем эффективности.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.