OmniX：統合的全景生成と知覚からグラフィックス対応3Dシーンへ

OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes

October 30, 2025

著者: Yukun Huang, Jiwen Yu, Yanning Zhou, Jianan Wang, Xintao Wang, Pengfei Wan, Xihui Liu

cs.AI

要旨

3Dシーン構築には、手続き型生成と2Dリフティングという2つの主要な手法が存在する。このうち、パノラマベースの2Dリフティングは、強力な2D生成事前知識を活用して没入感のある現実的で多様な3D環境を生成する有望な技術として登場した。本研究では、物理ベースレンダリング（PBR）、再照明、シミュレーションに適した、グラフィックス対応の3Dシーンを生成するためにこの技術を発展させる。我々の重要な洞察は、ジオメトリ、テクスチャ、PBRマテリアルをパノラマ的に知覚するために2D生成モデルを転用することである。外観生成を重視し内在的特性の知覚を無視する既存の2Dリフティング手法とは異なり、我々は汎用的で統一されたフレームワークであるOmniXを提案する。軽量で効率的なクロスモーダルアダプタ構造に基づくOmniXは、パノラマ知覚、生成、補完を含む広範なパノラマ視覚タスクに対して、2D生成事前知識を再利用する。さらに、多様な屋内・屋外シーンからなる高品質なマルチモーダルパノラマを収録した大規模合成パノラマデータセットを構築した。大規模な実験により、我々のモデルがパノラマ視覚知覚およびグラフィックス対応3Dシーン生成において有効であることを実証し、没入感があり物理的に現実的な仮想世界生成への新たな可能性を開く。

English

There are two prevalent ways to constructing 3D scenes: procedural generation and 2D lifting. Among them, panorama-based 2D lifting has emerged as a promising technique, leveraging powerful 2D generative priors to produce immersive, realistic, and diverse 3D environments. In this work, we advance this technique to generate graphics-ready 3D scenes suitable for physically based rendering (PBR), relighting, and simulation. Our key insight is to repurpose 2D generative models for panoramic perception of geometry, textures, and PBR materials. Unlike existing 2D lifting approaches that emphasize appearance generation and ignore the perception of intrinsic properties, we present OmniX, a versatile and unified framework. Based on a lightweight and efficient cross-modal adapter structure, OmniX reuses 2D generative priors for a broad range of panoramic vision tasks, including panoramic perception, generation, and completion. Furthermore, we construct a large-scale synthetic panorama dataset containing high-quality multimodal panoramas from diverse indoor and outdoor scenes. Extensive experiments demonstrate the effectiveness of our model in panoramic visual perception and graphics-ready 3D scene generation, opening new possibilities for immersive and physically realistic virtual world generation.