GECO: Geração de Imagem para 3D em um SEGUndo

GECO: Generative Image-to-3D within a SECOnd

May 30, 2024

Autores: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu

cs.AI

Resumo

A geração 3D tem apresentado progressos notáveis nos últimos anos. Técnicas existentes, como métodos de destilação de pontuação, produzem resultados impressionantes, mas exigem uma extensa otimização por cena, impactando a eficiência temporal. Alternativamente, abordagens baseadas em reconstrução priorizam a eficiência, mas comprometem a qualidade devido ao seu tratamento limitado da incerteza. Apresentamos o GECO, um método inovador para modelagem generativa 3D de alta qualidade que opera em questão de segundos. Nossa abordagem aborda os problemas prevalentes de incerteza e ineficiência nos métodos atuais por meio de um processo em duas etapas. Na etapa inicial, treinamos um modelo generativo de múltiplas visões em um único passo com destilação de pontuação. Em seguida, uma segunda etapa de destilação é aplicada para resolver o desafio da inconsistência de visão na predição de múltiplas visões. Esse processo em duas etapas garante uma abordagem equilibrada para a geração 3D, otimizando tanto a qualidade quanto a eficiência. Nossos experimentos abrangentes demonstram que o GECO alcança uma geração de imagem para 3D de alta qualidade com um nível de eficiência sem precedentes.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.