HiScene: Создание иерархических 3D-сцен с генерацией изометрических видов

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Авторы: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Аннотация

Генерация сцен на уровне 3D представляет собой важный рубеж в мультимедиа и компьютерной графике, однако существующие подходы либо ограничены в категориях объектов, либо не обладают достаточной гибкостью редактирования для интерактивных приложений. В данной статье мы представляем HiScene — новый иерархический фреймворк, который устраняет разрыв между генерацией 2D-изображений и 3D-объектов, создавая высококачественные сцены с композиционной идентичностью и эстетическим содержанием. Наше ключевое наблюдение заключается в рассмотрении сцен как иерархических "объектов" в изометрических проекциях, где комната выступает в роли сложного объекта, который может быть разложен на управляемые элементы. Такой иерархический подход позволяет нам генерировать 3D-контент, согласованный с 2D-представлениями, сохраняя при этом композиционную структуру. Для обеспечения полноты и пространственного выравнивания каждого разложенного экземпляра мы разработали технику амодального завершения на основе видео-диффузии, которая эффективно справляется с перекрытиями и тенями между объектами, а также ввели инъекцию приоритетов формы для обеспечения пространственной согласованности внутри сцены. Экспериментальные результаты показывают, что наш метод создает более естественные расположения объектов и полные экземпляры, подходящие для интерактивных приложений, сохраняя при этом физическую правдоподобность и соответствие пользовательским вводам.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.