Know3D: Стимулирование 3D-генерации с использованием знаний моделей "визуальный язык"
Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models
March 24, 2026
Авторы: Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang
cs.AI
Аннотация
Последние достижения в области 3D-генерации позволили повысить точность и детализацию геометрии синтезируемых 3D-объектов. Однако из-за присущей неоднозначности наблюдений с одного ракурса и отсутствия надежных априорных данных о глобальной структуре, вызванного ограниченностью обучающих 3D-данных, скрытые области, генерируемые существующими моделями, часто оказываются стохастичными и плохо управляемыми, что иногда приводит к несоответствию с намерениями пользователя или созданию неправдоподобных геометрий. В данной статье мы предлагаем Know3D — новую архитектуру, которая интегрирует богатые знания мультимодальных больших языковых моделей в процесс 3D-генерации через инъекцию скрытых состояний латентного пространства, обеспечивая управляемое языком создание обратной стороны 3D-объектов. Мы используем модель на основе VLM-диффузии, где VLM отвечает за семантическое понимание и управление, а диффузионная модель служит мостом, передающим семантические знания от VLM к модели 3D-генерации. Таким образом, мы успешно преодолеваем разрыв между абстрактными текстовыми инструкциями и геометрической реконструкцией ненаблюдаемых областей, преобразуя традиционно стохастическую "галлюцинацию" обратного вида в семантически управляемый процесс, что открывает перспективное направление для будущих моделей 3D-генерации.
English
Recent advances in 3D generation have improved the fidelity and geometric details of synthesized 3D assets. However, due to the inherent ambiguity of single-view observations and the lack of robust global structural priors caused by limited 3D training data, the unseen regions generated by existing models are often stochastic and difficult to control, which may sometimes fail to align with user intentions or produce implausible geometries. In this paper, we propose Know3D, a novel framework that incorporates rich knowledge from multimodal large language models into 3D generative processes via latent hidden-state injection, enabling language-controllable generation of the back-view for 3D assets. We utilize a VLM-diffusion-based model, where the VLM is responsible for semantic understanding and guidance. The diffusion model acts as a bridge that transfers semantic knowledge from the VLM to the 3D generation model. In this way, we successfully bridge the gap between abstract textual instructions and the geometric reconstruction of unobserved regions, transforming the traditionally stochastic back-view hallucination into a semantically controllable process, demonstrating a promising direction for future 3D generation models.