4K4DGen: 4K解像度でのパノラマ4D生成

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

著者: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

要旨

仮想現実（VR）と拡張現実（AR）技術の急速な発展に伴い、高品質で没入感のある動的な環境の作成に対する需要が高まっています。しかし、既存の生成技術は動的オブジェクトにのみ焦点を当てるか、単一の視点画像からのアウトペインティングを行うものであり、VR/ARアプリケーションのニーズを満たすには至っていません。本研究では、単一のパノラマを没入型4D体験へと昇華させるという挑戦的な課題に取り組みます。初めて、4K解像度で360度視野を有する全方位動的シーンの生成能力を実証し、没入感のあるユーザー体験を提供します。私たちの手法は、自然なシーンアニメーションを促進し、リアルタイム探索のための効率的なスプラッティング技術を用いて4Dガウシアンのセットを最適化するパイプラインを導入します。特にパノラマ形式でのシーンスケールの注釈付き4Dデータやモデルの不足を克服するため、汎用的な2D拡散事前分布を360度画像で一貫してアニメーションさせる新規のパノラマデノイザーを提案し、特定の領域で動的シーンを持つパノラマ動画へと変換します。その後、空間的および時間的一貫性を保ちながら、パノラマ動画を4D没入環境へと昇華させます。視点ドメインの2Dモデルからパノラマドメインへの事前知識の転送と、空間的外観および幾何学的正則化を伴う4Dリフティングにより、初めて（4096×2048）の解像度で高品質なパノラマから4Dへの生成を実現します。プロジェクトの詳細はhttps://4k4dgen.github.ioをご覧ください。

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.