MVDream: Difusão Multi-visão para Geração 3D

MVDream: Multi-view Diffusion for 3D Generation

August 31, 2023

Autores: Yichun Shi, Peng Wang, Jianglong Ye, Mai Long, Kejie Li, Xiao Yang

cs.AI

Resumo

Propomos o MVDream, um modelo de difusão multi-visão capaz de gerar imagens multi-visão geometricamente consistentes a partir de um prompt de texto dado. Ao aproveitar modelos de difusão de imagens pré-treinados em grandes conjuntos de dados da web e um conjunto de dados multi-visão renderizado a partir de ativos 3D, o modelo de difusão multi-visão resultante pode alcançar tanto a generalização da difusão 2D quanto a consistência dos dados 3D. Tal modelo pode, portanto, ser aplicado como um prior multi-visão para geração 3D via Amostragem de Distilação de Pontuação (Score Distillation Sampling), onde ele melhora significativamente a estabilidade dos métodos existentes de elevação 2D ao resolver o problema de consistência 3D. Por fim, mostramos que o modelo de difusão multi-visão também pode ser ajustado em um cenário de poucas amostras para geração 3D personalizada, ou seja, na aplicação DreamBooth3D, onde a consistência pode ser mantida após o aprendizado da identidade do sujeito.

English

We propose MVDream, a multi-view diffusion model that is able to generate geometrically consistent multi-view images from a given text prompt. By leveraging image diffusion models pre-trained on large-scale web datasets and a multi-view dataset rendered from 3D assets, the resulting multi-view diffusion model can achieve both the generalizability of 2D diffusion and the consistency of 3D data. Such a model can thus be applied as a multi-view prior for 3D generation via Score Distillation Sampling, where it greatly improves the stability of existing 2D-lifting methods by solving the 3D consistency problem. Finally, we show that the multi-view diffusion model can also be fine-tuned under a few shot setting for personalized 3D generation, i.e. DreamBooth3D application, where the consistency can be maintained after learning the subject identity.