ScenePainter: Семантически согласованное непрерывное создание 3D-сцен с выравниванием концептуальных отношений

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

Авторы: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

Аннотация

Генерация перманентных 3D-сцен направлена на создание длинных и согласованных последовательностей 3D-видов, что применимо для синтеза долгосрочных видео и реконструкции 3D-сцен. Существующие методы следуют подходу "навигация и воображение" и полагаются на расширение изображения (outpainting) для последовательного расширения видов. Однако сгенерированные последовательности видов страдают от проблемы семантического дрейфа, вызванного накопленным отклонением модуля расширения. Для решения этой задачи мы предлагаем ScenePainter — новый фреймворк для семантически согласованной генерации 3D-сцен, который согласует сценарные априорные знания модуля расширения с пониманием текущей сцены. В частности, мы вводим иерархическую графовую структуру под названием SceneConceptGraph для построения отношений между многоуровневыми концепциями сцены, что направляет модуль расширения на создание согласованных новых видов и может динамически уточняться для повышения разнообразия. Многочисленные эксперименты демонстрируют, что наш фреймворк преодолевает проблему семантического дрейфа и генерирует более согласованные и иммерсивные последовательности 3D-видов. Страница проекта: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.