DreamSpace: Воплощение пространства вашей комнаты с текстовым управлением распространения панорамных текстур

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

October 19, 2023

Авторы: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma

cs.AI

Аннотация

Методы, основанные на диффузии, достигли значительных успехов в генерации 2D-медиа. Однако достижение аналогичных результатов в текстурировании сцен на уровне мешей в 3D-пространственных приложениях, таких как XR/VR, остается ограниченным, главным образом из-за сложности 3D-геометрии и необходимости обеспечения иммерсивного рендеринга с произвольных точек обзора. В данной статье мы предлагаем новый фреймворк для текстурирования внутренних сцен, который обеспечивает генерацию текстур на основе текстовых описаний с захватывающими деталями и аутентичной пространственной согласованностью. Ключевая идея заключается в том, чтобы сначала представить стилизованную 360{\deg} панорамную текстуру с центральной точки обзора сцены, а затем распространить её на остальные области с использованием техник восстановления и имитации. Для обеспечения осмысленных и согласованных текстур сценой мы разработали новый подход к генерации панорамных текстур от грубого к детальному с двойным выравниванием текстур, который учитывает как геометрические, так и текстурные характеристики захваченных сцен. Для преодоления сложностей, связанных с загроможденной геометрией в процессе распространения текстур, мы разработали раздельную стратегию, которая выполняет восстановление текстур в доступных областях, а затем обучает неявную сеть имитации для синтеза текстур в скрытых и мелких структурных областях. Многочисленные эксперименты и иммерсивное VR-приложение на реальных внутренних сценах демонстрируют высокое качество сгенерированных текстур и увлекательный опыт использования на VR-гарнитурах. Страница проекта: https://ybbbbt.com/publication/dreamspace

English

Diffusion-based methods have achieved prominent success in generating 2D media. However, accomplishing similar proficiencies for scene-level mesh texturing in 3D spatial applications, e.g., XR/VR, remains constrained, primarily due to the intricate nature of 3D geometry and the necessity for immersive free-viewpoint rendering. In this paper, we propose a novel indoor scene texturing framework, which delivers text-driven texture generation with enchanting details and authentic spatial coherence. The key insight is to first imagine a stylized 360{\deg} panoramic texture from the central viewpoint of the scene, and then propagate it to the rest areas with inpainting and imitating techniques. To ensure meaningful and aligned textures to the scene, we develop a novel coarse-to-fine panoramic texture generation approach with dual texture alignment, which both considers the geometry and texture cues of the captured scenes. To survive from cluttered geometries during texture propagation, we design a separated strategy, which conducts texture inpainting in confidential regions and then learns an implicit imitating network to synthesize textures in occluded and tiny structural areas. Extensive experiments and the immersive VR application on real-world indoor scenes demonstrate the high quality of the generated textures and the engaging experience on VR headsets. Project webpage: https://ybbbbt.com/publication/dreamspace