DreamSpace: テキスト駆動型パノラマテクスチャ伝播による部屋空間の夢見
DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
October 19, 2023
著者: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
cs.AI
要旨
ディフュージョンベースの手法は、2Dメディアの生成において顕著な成功を収めてきました。しかし、XR/VRなどの3D空間アプリケーションにおけるシーンレベルのメッシュテクスチャリングにおいて同様の熟練度を達成することは、主に3Dジオメトリの複雑さと没入型の自由視点レンダリングの必要性により、依然として制約されています。本論文では、テキスト駆動のテクスチャ生成を魅力的なディテールと本物の空間的一貫性で実現する、新しい屋内シーンテクスチャリングフレームワークを提案します。鍵となる洞察は、まずシーンの中央視点からスタイリッシュな360度パノラマテクスチャを想像し、それをインペインティングと模倣技術を用いて残りの領域に伝播させることです。シーンに意味的かつ整合したテクスチャを確保するために、ジオメトリとテクスチャの手がかりの両方を考慮した、デュアルテクスチャアライメントを備えた新しい粗から細へのパノラマテクスチャ生成アプローチを開発しました。テクスチャ伝播中の複雑なジオメトリに対処するために、信頼できる領域でテクスチャインペインティングを行い、その後、隠蔽された微小構造領域のテクスチャを合成するための暗黙的な模倣ネットワークを学習する分離戦略を設計しました。実世界の屋内シーンにおける広範な実験と没入型VRアプリケーションは、生成されたテクスチャの高品質とVRヘッドセットでの魅力的な体験を実証しています。プロジェクトウェブページ: https://ybbbbt.com/publication/dreamspace
English
Diffusion-based methods have achieved prominent success in generating 2D
media. However, accomplishing similar proficiencies for scene-level mesh
texturing in 3D spatial applications, e.g., XR/VR, remains constrained,
primarily due to the intricate nature of 3D geometry and the necessity for
immersive free-viewpoint rendering. In this paper, we propose a novel indoor
scene texturing framework, which delivers text-driven texture generation with
enchanting details and authentic spatial coherence. The key insight is to first
imagine a stylized 360{\deg} panoramic texture from the central viewpoint of
the scene, and then propagate it to the rest areas with inpainting and
imitating techniques. To ensure meaningful and aligned textures to the scene,
we develop a novel coarse-to-fine panoramic texture generation approach with
dual texture alignment, which both considers the geometry and texture cues of
the captured scenes. To survive from cluttered geometries during texture
propagation, we design a separated strategy, which conducts texture inpainting
in confidential regions and then learns an implicit imitating network to
synthesize textures in occluded and tiny structural areas. Extensive
experiments and the immersive VR application on real-world indoor scenes
demonstrate the high quality of the generated textures and the engaging
experience on VR headsets. Project webpage:
https://ybbbbt.com/publication/dreamspace