OmniX: Van Verenigde Panoramische Generatie en Waarneming tot Grafisch-Gereed 3D-Scènes

OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes

October 30, 2025

Auteurs: Yukun Huang, Jiwen Yu, Yanning Zhou, Jianan Wang, Xintao Wang, Pengfei Wan, Xihui Liu

cs.AI

Samenvatting

Er bestaan twee gangbare methoden voor het construeren van 3D-scènes: procedurele generatie en 2D-lifting. Panorama-gebaseerde 2D-lifting is hierbij naar voren gekomen als een veelbelovende techniek, waarbij krachtige 2D-generatieve prior kennis wordt benut om immersieve, realistische en diverse 3D-omgevingen te produceren. In dit werk breiden we deze techniek uit om graphics-ready 3D-scènes te genereren die geschikt zijn voor fysiek gebaseerd renderen (PBR), herbelichting en simulatie. Onze belangrijkste inzicht is het hergebruiken van 2D-generatieve modellen voor panoramische perceptie van geometrie, texturen en PBR-materialen. In tegenstelling tot bestaande 2D-lifting benaderingen die de nadruk leggen op het genereren van uiterlijk en de perceptie van intrinsieke eigenschappen negeren, presenteren wij OmniX, een veelzijdig en verenigd framework. Gebaseerd op een lichtgewicht en efficiënte cross-modale adapterstructuur, hergebruikt OmniX 2D-generatieve prior kennis voor een breed scala aan panoramische visietaken, waaronder panoramische perceptie, generatie en voltooiing. Verder construeren we een grootschalige synthetische panoramadataset die hoogwaardige multimodale panorama's bevat uit diverse binnen- en buitenscènes. Uitgebreide experimenten tonen de effectiviteit van ons model aan in panoramische visuele perceptie en graphics-ready 3D-scènegeneratie, wat nieuwe mogelijkheden opent voor de generatie van immersieve en fysiek realistische virtuele werelden.

English

There are two prevalent ways to constructing 3D scenes: procedural generation and 2D lifting. Among them, panorama-based 2D lifting has emerged as a promising technique, leveraging powerful 2D generative priors to produce immersive, realistic, and diverse 3D environments. In this work, we advance this technique to generate graphics-ready 3D scenes suitable for physically based rendering (PBR), relighting, and simulation. Our key insight is to repurpose 2D generative models for panoramic perception of geometry, textures, and PBR materials. Unlike existing 2D lifting approaches that emphasize appearance generation and ignore the perception of intrinsic properties, we present OmniX, a versatile and unified framework. Based on a lightweight and efficient cross-modal adapter structure, OmniX reuses 2D generative priors for a broad range of panoramic vision tasks, including panoramic perception, generation, and completion. Furthermore, we construct a large-scale synthetic panorama dataset containing high-quality multimodal panoramas from diverse indoor and outdoor scenes. Extensive experiments demonstrate the effectiveness of our model in panoramic visual perception and graphics-ready 3D scene generation, opening new possibilities for immersive and physically realistic virtual world generation.