ImageDream: Difusão Multi-visão Orientada por Imagem para Geração 3D
ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
December 2, 2023
Autores: Peng Wang, Yichun Shi
cs.AI
Resumo
Apresentamos o "ImageDream", um modelo inovador de difusão multi-visão com prompt de imagem para geração de objetos 3D. O ImageDream se destaca por sua capacidade de produzir modelos 3D de qualidade superior em comparação com os métodos mais avançados existentes condicionados por imagem. Nossa abordagem utiliza uma coordenação canônica de câmera para os objetos nas imagens, melhorando a precisão da geometria visual. O modelo foi projetado com vários níveis de controle em cada bloco dentro do modelo de difusão com base na imagem de entrada, onde o controle global molda o layout geral do objeto e o controle local ajusta os detalhes da imagem. A eficácia do ImageDream é demonstrada por meio de avaliações extensivas utilizando uma lista de prompts padrão. Para mais informações, visite nossa página do projeto em https://Image-Dream.github.io.
English
We introduce "ImageDream," an innovative image-prompt, multi-view diffusion
model for 3D object generation. ImageDream stands out for its ability to
produce 3D models of higher quality compared to existing state-of-the-art,
image-conditioned methods. Our approach utilizes a canonical camera
coordination for the objects in images, improving visual geometry accuracy. The
model is designed with various levels of control at each block inside the
diffusion model based on the input image, where global control shapes the
overall object layout and local control fine-tunes the image details. The
effectiveness of ImageDream is demonstrated through extensive evaluations using
a standard prompt list. For more information, visit our project page at
https://Image-Dream.github.io.