V3D : Les modèles de diffusion vidéo sont des générateurs 3D efficaces

V3D: Video Diffusion Models are Effective 3D Generators

March 11, 2024

Auteurs: Zilong Chen, Yikai Wang, Feng Wang, Zhengyi Wang, Huaping Liu

cs.AI

Résumé

La génération automatique 3D a récemment suscité un intérêt considérable. Les méthodes récentes ont considérablement accéléré la vitesse de génération, mais produisent généralement des objets moins détaillés en raison de la capacité limitée des modèles ou des données 3D. Motivés par les avancées récentes dans les modèles de diffusion vidéo, nous introduisons V3D, qui exploite la capacité de simulation du monde des modèles de diffusion vidéo pré-entraînés pour faciliter la génération 3D. Pour libérer pleinement le potentiel de la diffusion vidéo dans la perception du monde 3D, nous introduisons en outre un a priori de cohérence géométrique et étendons le modèle de diffusion vidéo à un générateur 3D cohérent multi-vues. Grâce à cela, le modèle de diffusion vidéo de pointe peut être affiné pour générer des images d'orbite à 360 degrés autour d'un objet à partir d'une seule image. Avec nos pipelines de reconstruction sur mesure, nous pouvons générer des maillages ou des Gaussiennes 3D de haute qualité en moins de 3 minutes. De plus, notre méthode peut être étendue à la synthèse de nouvelles vues au niveau de la scène, permettant un contrôle précis du chemin de la caméra avec des vues d'entrée éparses. Des expériences approfondies démontrent la performance supérieure de l'approche proposée, en particulier en termes de qualité de génération et de cohérence multi-vues. Notre code est disponible à l'adresse https://github.com/heheyas/V3D.

English

Automatic 3D generation has recently attracted widespread attention. Recent methods have greatly accelerated the generation speed, but usually produce less-detailed objects due to limited model capacity or 3D data. Motivated by recent advancements in video diffusion models, we introduce V3D, which leverages the world simulation capacity of pre-trained video diffusion models to facilitate 3D generation. To fully unleash the potential of video diffusion to perceive the 3D world, we further introduce geometrical consistency prior and extend the video diffusion model to a multi-view consistent 3D generator. Benefiting from this, the state-of-the-art video diffusion model could be fine-tuned to generate 360degree orbit frames surrounding an object given a single image. With our tailored reconstruction pipelines, we can generate high-quality meshes or 3D Gaussians within 3 minutes. Furthermore, our method can be extended to scene-level novel view synthesis, achieving precise control over the camera path with sparse input views. Extensive experiments demonstrate the superior performance of the proposed approach, especially in terms of generation quality and multi-view consistency. Our code is available at https://github.com/heheyas/V3D