HiScene : Création de scènes 3D hiérarchiques avec génération de vue isométrique

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Auteurs: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Résumé

La génération de scènes 3D à l'échelle de la scène représente une frontière critique dans le domaine du multimédia et de l'infographie. Cependant, les approches existantes souffrent soit d'un nombre limité de catégories d'objets, soit d'un manque de flexibilité d'édition pour les applications interactives. Dans cet article, nous présentons HiScene, un cadre hiérarchique novateur qui comble le fossé entre la génération d'images 2D et la génération d'objets 3D, et qui produit des scènes haute fidélité avec des identités compositionnelles et un contenu esthétique. Notre idée clé est de traiter les scènes comme des "objets" hiérarchiques sous des vues isométriques, où une pièce fonctionne comme un objet complexe pouvant être décomposé en éléments manipulables. Cette approche hiérarchique nous permet de générer du contenu 3D aligné avec les représentations 2D tout en maintenant une structure compositionnelle. Pour garantir l'exhaustivité et l'alignement spatial de chaque instance décomposée, nous développons une technique de complétion amodale basée sur la diffusion vidéo qui gère efficacement les occlusions et les ombres entre les objets, et introduisons une injection de priorité de forme pour assurer la cohérence spatiale au sein de la scène. Les résultats expérimentaux démontrent que notre méthode produit des arrangements d'objets plus naturels et des instances d'objets complètes adaptées aux applications interactives, tout en maintenant une plausibilité physique et un alignement avec les entrées utilisateur.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.