CAT3D: Создание любого объекта в 3D с помощью моделей многопросмотрового диффузии.

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

May 16, 2024

Авторы: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole

cs.AI

Аннотация

Прогресс в области трехмерной реконструкции позволил добиться высококачественного захвата трехмерных изображений, однако для создания трехмерной сцены требуется собрать сотни или тысячи изображений. Мы представляем CAT3D, метод создания трехмерных объектов путем моделирования процесса захвата в реальном мире с использованием многовидовой модели диффузии. Учитывая любое количество входных изображений и набор целевых новых точек обзора, наша модель генерирует высококачественные новые виды сцены. Эти созданные виды могут быть использованы в качестве входных данных для надежных техник трехмерной реконструкции для создания трехмерных представлений, которые могут быть отображены с любой точки зрения в реальном времени. CAT3D способен создавать целые трехмерные сцены всего за одну минуту и превосходит существующие методы создания трехмерных сцен на основе одного изображения или нескольких видов обзора. Для результатов и интерактивных демонстраций посетите нашу страницу проекта по адресу https://cat3d.github.io.

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .