CAT3D : Créer n'importe quoi en 3D avec des modèles de diffusion multi-vues

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

May 16, 2024

Auteurs: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole

cs.AI

Résumé

Les avancées en reconstruction 3D ont permis une capture 3D de haute qualité, mais nécessitent qu'un utilisateur collecte des centaines à des milliers d'images pour créer une scène 3D. Nous présentons CAT3D, une méthode pour créer n'importe quoi en 3D en simulant ce processus de capture du monde réel avec un modèle de diffusion multi-vues. Étant donné un nombre quelconque d'images d'entrée et un ensemble de nouvelles perspectives cibles, notre modèle génère des vues nouvelles hautement cohérentes d'une scène. Ces vues générées peuvent être utilisées comme entrée pour des techniques robustes de reconstruction 3D afin de produire des représentations 3D pouvant être rendues depuis n'importe quelle perspective en temps réel. CAT3D peut créer des scènes 3D entières en aussi peu qu'une minute, et surpasse les méthodes existantes pour la création de scènes 3D à partir d'une seule image ou de quelques vues. Consultez notre page de projet pour les résultats et les démonstrations interactives sur https://cat3d.github.io.

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .