DreamCube：マルチプレーン同期による3Dパノラマ生成

要旨

3Dパノラマ合成は、生成される全方位コンテンツの高品質かつ多様な視覚的外観と幾何学を要求する、有望でありながらも挑戦的な課題である。既存の手法は、3Dパノラマデータの不足を補うために、事前学習された2D基盤モデルから豊富な画像事前情報を活用しているが、3Dパノラマと2D単一視点との非互換性がその有効性を制限している。本研究では、2D基盤モデルの演算子に多平面同期を適用することで、その能力を全方位領域にシームレスに拡張できることを示す。この設計に基づき、さらにDreamCubeを導入する。DreamCubeは、3Dパノラマ生成のための多平面RGB-D拡散モデルであり、2D基盤モデルの事前情報を最大限に再利用して、多視点一貫性を維持しながら多様な外観と正確な幾何学を実現する。広範な実験により、本手法がパノラマ画像生成、パノラマ深度推定、および3Dシーン生成において有効であることが実証された。

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.

DreamCube：マルチプレーン同期による3Dパノラマ生成

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

要旨

Support