HiScene: Criando Cenas 3D Hierárquicas com Geração de Vista Isométrica

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Autores: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Resumo

A geração de cenas em 3D em nível de cena representa uma fronteira crítica em multimídia e gráficos computacionais, mas as abordagens existentes sofrem com categorias limitadas de objetos ou falta de flexibilidade de edição para aplicações interativas. Neste artigo, apresentamos o HiScene, uma estrutura hierárquica inovadora que preenche a lacuna entre a geração de imagens 2D e a geração de objetos 3D, entregando cenas de alta fidelidade com identidades composicionais e conteúdo estético. Nossa principal percepção é tratar cenas como "objetos" hierárquicos sob visões isométricas, onde uma sala funciona como um objeto complexo que pode ser decomposto em itens manipuláveis. Essa abordagem hierárquica nos permite gerar conteúdo 3D que se alinha com representações 2D, mantendo a estrutura composicional. Para garantir a completude e o alinhamento espacial de cada instância decomposta, desenvolvemos uma técnica de completamento amodal baseada em difusão de vídeo que lida efetivamente com oclusões e sombras entre objetos, e introduzimos a injeção de prioridade de forma para garantir coerência espacial dentro da cena. Resultados experimentais demonstram que nosso método produz arranjos de objetos mais naturais e instâncias completas de objetos adequadas para aplicações interativas, mantendo plausibilidade física e alinhamento com entradas do usuário.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.