OmniX : De la génération et de la perception panoramiques unifiées aux scènes 3D prêtes pour le graphisme

OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes

October 30, 2025

papers.authors: Yukun Huang, Jiwen Yu, Yanning Zhou, Jianan Wang, Xintao Wang, Pengfei Wan, Xihui Liu

cs.AI

papers.abstract

Il existe deux méthodes prédominantes pour construire des scènes 3D : la génération procédurale et le relèvement 2D. Parmi elles, le relèvement 2D basé sur les panoramas s'est imposé comme une technique prometteuse, exploitant de puissants préalables génératifs 2D pour produire des environnements 3D immersifs, réalistes et diversifiés. Dans ce travail, nous faisons progresser cette technique pour générer des scènes 3D prêtes pour le graphisme, adaptées au rendu physiquement réaliste (PBR), au rééclairage et à la simulation. Notre idée clé est de réutiliser des modèles génératifs 2D pour la perception panoramique de la géométrie, des textures et des matériaux PBR. Contrairement aux approches de relèvement 2D existantes qui privilégient la génération d'apparence et ignorent la perception des propriétés intrinsèques, nous présentons OmniX, un cadre unifié et polyvalent. S'appuyant sur une structure d'adaptateur cross-modal léger et efficace, OmniX réutilise des préalables génératifs 2D pour un large éventail de tâches de vision panoramique, incluant la perception, la génération et la complétion de panoramas. De plus, nous avons constitué un vaste jeu de données de panoramas synthétiques contenant des panoramas multimodaux de haute qualité issus de diverses scènes intérieures et extérieures. Des expériences approfondies démontrent l'efficacité de notre modèle en matière de perception visuelle panoramique et de génération de scènes 3D prêtes pour le graphisme, ouvrant de nouvelles possibilités pour la création de mondes virtuels immersifs et physiquement réalistes.

English

There are two prevalent ways to constructing 3D scenes: procedural generation and 2D lifting. Among them, panorama-based 2D lifting has emerged as a promising technique, leveraging powerful 2D generative priors to produce immersive, realistic, and diverse 3D environments. In this work, we advance this technique to generate graphics-ready 3D scenes suitable for physically based rendering (PBR), relighting, and simulation. Our key insight is to repurpose 2D generative models for panoramic perception of geometry, textures, and PBR materials. Unlike existing 2D lifting approaches that emphasize appearance generation and ignore the perception of intrinsic properties, we present OmniX, a versatile and unified framework. Based on a lightweight and efficient cross-modal adapter structure, OmniX reuses 2D generative priors for a broad range of panoramic vision tasks, including panoramic perception, generation, and completion. Furthermore, we construct a large-scale synthetic panorama dataset containing high-quality multimodal panoramas from diverse indoor and outdoor scenes. Extensive experiments demonstrate the effectiveness of our model in panoramic visual perception and graphics-ready 3D scene generation, opening new possibilities for immersive and physically realistic virtual world generation.