One-2-3-45++: Быстрое преобразование одного изображения в 3D-объекты с согласованной генерацией мультивью и 3D-диффузией

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion

November 14, 2023

Авторы: Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su

cs.AI

Аннотация

Последние достижения в области генерации 3D-объектов в открытом мире впечатляют, при этом методы преобразования изображений в 3D предлагают более точный контроль по сравнению с их аналогами, работающими с текстовыми описаниями. Однако большинство существующих моделей не способны одновременно обеспечивать высокую скорость генерации и точное соответствие входным изображениям — два ключевых параметра, необходимых для практического применения. В данной статье мы представляем One-2-3-45++, инновационный метод, который преобразует одно изображение в детализированный текстурированный 3D-меш примерно за одну минуту. Наш подход направлен на полное использование обширных знаний, заложенных в 2D диффузионных моделях, а также на применение ограниченных, но ценных 3D-данных. Это достигается за счет первоначальной тонкой настройки 2D диффузионной модели для генерации согласованных многовидовых изображений, с последующим преобразованием этих изображений в 3D с помощью многовидовых условных 3D диффузионных моделей. Многочисленные экспериментальные оценки демонстрируют, что наш метод способен создавать высококачественные и разнообразные 3D-объекты, которые точно отражают исходное входное изображение. Страница проекта: https://sudo-ai-3d.github.io/One2345plus_page.

English

Recent advancements in open-world 3D object generation have been remarkable, with image-to-3D methods offering superior fine-grained control over their text-to-3D counterparts. However, most existing models fall short in simultaneously providing rapid generation speeds and high fidelity to input images - two features essential for practical applications. In this paper, we present One-2-3-45++, an innovative method that transforms a single image into a detailed 3D textured mesh in approximately one minute. Our approach aims to fully harness the extensive knowledge embedded in 2D diffusion models and priors from valuable yet limited 3D data. This is achieved by initially finetuning a 2D diffusion model for consistent multi-view image generation, followed by elevating these images to 3D with the aid of multi-view conditioned 3D native diffusion models. Extensive experimental evaluations demonstrate that our method can produce high-quality, diverse 3D assets that closely mirror the original input image. Our project webpage: https://sudo-ai-3d.github.io/One2345plus_page.