Know3D: Generazione 3D guidata dalla conoscenza dei modelli visione-linguaggio
Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models
March 24, 2026
Autori: Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang
cs.AI
Abstract
I recenti progressi nella generazione 3D hanno migliorato la fedeltà e i dettagli geometrici degli asset 3D sintetizzati. Tuttavia, a causa dell'ambiguità intrinseca delle osservazioni da singola vista e della mancanza di robusti prior strutturali globali causati dai limitati dati di addestramento 3D, le regioni non visibili generate dai modelli esistenti sono spesso stocastiche e difficili da controllare, il che a volte può non allinearsi con le intenzioni dell'utente o produrre geometrie implausibili. In questo articolo, proponiamo Know3D, un framework innovativo che incorpora la ricca conoscenza dei modelli linguistici multimodali di grandi dimensioni nei processi generativi 3D tramite l'iniezione di stati latenti nascosti, abilitando una generazione controllabile linguisticamente della vista posteriore per asset 3D. Utilizziamo un modello basato su VLM-diffusion, dove il VLM è responsabile della comprensione e della guida semantica. Il modello di diffusion funge da ponte che trasferisce la conoscenza semantica dal VLM al modello di generazione 3D. In questo modo, colmiamo con successo il divario tra le istruzioni testuali astratte e la ricostruzione geometrica delle regioni non osservate, trasformando la tradizionalmente stocastica allucinazione della vista posteriore in un processo semanticamente controllabile, dimostrando una direzione promettente per i futuri modelli di generazione 3D.
English
Recent advances in 3D generation have improved the fidelity and geometric details of synthesized 3D assets. However, due to the inherent ambiguity of single-view observations and the lack of robust global structural priors caused by limited 3D training data, the unseen regions generated by existing models are often stochastic and difficult to control, which may sometimes fail to align with user intentions or produce implausible geometries. In this paper, we propose Know3D, a novel framework that incorporates rich knowledge from multimodal large language models into 3D generative processes via latent hidden-state injection, enabling language-controllable generation of the back-view for 3D assets. We utilize a VLM-diffusion-based model, where the VLM is responsible for semantic understanding and guidance. The diffusion model acts as a bridge that transfers semantic knowledge from the VLM to the 3D generation model. In this way, we successfully bridge the gap between abstract textual instructions and the geometric reconstruction of unobserved regions, transforming the traditionally stochastic back-view hallucination into a semantically controllable process, demonstrating a promising direction for future 3D generation models.