Know3D: Estimulando la generación 3D con conocimiento de modelos de visión y lenguaje
Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models
March 24, 2026
Autores: Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang
cs.AI
Resumen
Los recientes avances en generación 3D han mejorado la fidelidad y los detalles geométricos de los activos 3D sintetizados. Sin embargo, debido a la ambigüedad inherente de las observaciones de vista única y a la falta de *priors* estructurales globales robustos causada por los limitados datos de entrenamiento 3D, las regiones no vistas generadas por los modelos existentes suelen ser estocásticas y difíciles de controlar, lo que a veces puede no alinearse con las intenciones del usuario o producir geometrías inverosímiles. En este artículo, proponemos Know3D, un marco novedoso que incorpora conocimiento enriquecido de modelos de lenguaje grandes multimodales en los procesos generativos 3D mediante la inyección de estados ocultos latentes, permitiendo la generación controlada por lenguaje de la vista posterior de activos 3D. Utilizamos un modelo basado en VLM-difusión, donde el VLM es responsable de la comprensión y guía semántica. El modelo de difusión actúa como un puente que transfiere el conocimiento semántico del VLM al modelo de generación 3D. De esta manera, logramos salvar la brecha entre las instrucciones textuales abstractas y la reconstrucción geométrica de regiones no observadas, transformando la tradicionalmente estocástica alucinación de la vista posterior en un proceso semánticamente controlable, lo que demuestra una dirección prometedora para los futuros modelos de generación 3D.
English
Recent advances in 3D generation have improved the fidelity and geometric details of synthesized 3D assets. However, due to the inherent ambiguity of single-view observations and the lack of robust global structural priors caused by limited 3D training data, the unseen regions generated by existing models are often stochastic and difficult to control, which may sometimes fail to align with user intentions or produce implausible geometries. In this paper, we propose Know3D, a novel framework that incorporates rich knowledge from multimodal large language models into 3D generative processes via latent hidden-state injection, enabling language-controllable generation of the back-view for 3D assets. We utilize a VLM-diffusion-based model, where the VLM is responsible for semantic understanding and guidance. The diffusion model acts as a bridge that transfers semantic knowledge from the VLM to the 3D generation model. In this way, we successfully bridge the gap between abstract textual instructions and the geometric reconstruction of unobserved regions, transforming the traditionally stochastic back-view hallucination into a semantically controllable process, demonstrating a promising direction for future 3D generation models.