Know3D：視覚言語モデルの知識を用いた3D生成のプロンプティング

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

March 24, 2026

著者: Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang

cs.AI

要旨

近年の3D生成技術は、合成された3Dアセットの精緻さと幾何学的詳細の点で著しい進歩を遂げている。しかし、単一視点観測に内在する曖昧さや、限られた3D学習データに起因する頑健な大域構造事前分布の不足により、既存モデルが生成する未観測領域は往々にして確率的で制御が難しく、ユーザーの意図に沿わない場合や非現実的な幾何学構造を生成する場合がある。本論文では、マルチモーダル大規模言語モデルから得られる豊富な知識を潜在状態注入により3D生成プロセスに組み込む新規フレームワーク「Know3D」を提案する。これにより、3Dアセットの背面視点の言語制御可能な生成を実現する。本手法はVLM-拡散モデルを基盤とし、VLMが意味理解とガイダンスを担当する。拡散モデルはVLMから3D生成モデルへ意味的知識を伝達する橋渡し役として機能する。このアプローチにより、抽象的なテキスト指示と未観測領域の幾何学的再構築の間の隔たりを埋めることに成功し、従来確率的であった背面視点の生成を意味的に制御可能なプロセスへと転換した。これは将来の3D生成モデルに向けた有望な方向性を示すものである。

English

Recent advances in 3D generation have improved the fidelity and geometric details of synthesized 3D assets. However, due to the inherent ambiguity of single-view observations and the lack of robust global structural priors caused by limited 3D training data, the unseen regions generated by existing models are often stochastic and difficult to control, which may sometimes fail to align with user intentions or produce implausible geometries. In this paper, we propose Know3D, a novel framework that incorporates rich knowledge from multimodal large language models into 3D generative processes via latent hidden-state injection, enabling language-controllable generation of the back-view for 3D assets. We utilize a VLM-diffusion-based model, where the VLM is responsible for semantic understanding and guidance. The diffusion model acts as a bridge that transfers semantic knowledge from the VLM to the 3D generation model. In this way, we successfully bridge the gap between abstract textual instructions and the geometric reconstruction of unobserved regions, transforming the traditionally stochastic back-view hallucination into a semantically controllable process, demonstrating a promising direction for future 3D generation models.