Know3D : Génération 3D assistée par les connaissances des modèles vision-langage
Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models
March 24, 2026
Auteurs: Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang
cs.AI
Résumé
Les progrès récents en génération 3D ont amélioré la fidélité et les détails géométriques des assets 3D synthétisés. Cependant, en raison de l'ambiguïté inhérente aux observations monoscopiques et du manque de priors structurels globaux robustes causé par la limitation des données d'entraînement 3D, les régions non visibles générées par les modèles existants sont souvent stochastiques et difficiles à contrôler, pouvant parfois ne pas correspondre aux intentions de l'utilisateur ou produire des géométries improbables. Dans cet article, nous proposons Know3D, un nouveau cadre qui intègre des connaissances riches provenant de modèles linguistiques multimodaux de grande taille dans les processus de génération 3D via l'injection d'états latents cachés, permettant une génération contrôlable par langage de la vue arrière pour les assets 3D. Nous utilisons un modèle basé sur VLM-diffusion, où le VLM est responsable de la compréhension et du guidage sémantiques. Le modèle de diffusion agit comme un pont qui transfère la connaissance sémantique du VLM vers le modèle de génération 3D. De cette manière, nous comblons avec succès le fossé entre les instructions textuelles abstraites et la reconstruction géométrique des régions non observées, transformant l'hallucination traditionnellement stochastique de la vue arrière en un processus sémantiquement contrôlable, démontrant une direction prometteuse pour les futurs modèles de génération 3D.
English
Recent advances in 3D generation have improved the fidelity and geometric details of synthesized 3D assets. However, due to the inherent ambiguity of single-view observations and the lack of robust global structural priors caused by limited 3D training data, the unseen regions generated by existing models are often stochastic and difficult to control, which may sometimes fail to align with user intentions or produce implausible geometries. In this paper, we propose Know3D, a novel framework that incorporates rich knowledge from multimodal large language models into 3D generative processes via latent hidden-state injection, enabling language-controllable generation of the back-view for 3D assets. We utilize a VLM-diffusion-based model, where the VLM is responsible for semantic understanding and guidance. The diffusion model acts as a bridge that transfers semantic knowledge from the VLM to the 3D generation model. In this way, we successfully bridge the gap between abstract textual instructions and the geometric reconstruction of unobserved regions, transforming the traditionally stochastic back-view hallucination into a semantically controllable process, demonstrating a promising direction for future 3D generation models.