ImageDream: Многовидовое диффузионное преобразование изображений в 3D на основе подсказок

ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation

December 2, 2023

Авторы: Peng Wang, Yichun Shi

cs.AI

Аннотация

Мы представляем "ImageDream" — инновационную модель диффузии с использованием изображений в качестве подсказок для генерации многовидовых 3D-объектов. ImageDream выделяется своей способностью создавать 3D-модели более высокого качества по сравнению с современными методами, основанными на изображениях. Наш подход использует каноническую систему координат камеры для объектов на изображениях, что повышает точность визуальной геометрии. Модель разработана с различными уровнями контроля на каждом блоке внутри модели диффузии, основанными на входном изображении, где глобальный контроль формирует общую компоновку объекта, а локальный контроль тонко настраивает детали изображения. Эффективность ImageDemonстрируется через обширные оценки с использованием стандартного списка подсказок. Для получения дополнительной информации посетите страницу нашего проекта по адресу https://Image-Dream.github.io.

English

We introduce "ImageDream," an innovative image-prompt, multi-view diffusion model for 3D object generation. ImageDream stands out for its ability to produce 3D models of higher quality compared to existing state-of-the-art, image-conditioned methods. Our approach utilizes a canonical camera coordination for the objects in images, improving visual geometry accuracy. The model is designed with various levels of control at each block inside the diffusion model based on the input image, where global control shapes the overall object layout and local control fine-tunes the image details. The effectiveness of ImageDream is demonstrated through extensive evaluations using a standard prompt list. For more information, visit our project page at https://Image-Dream.github.io.