局所ランダムアクセスシーケンスモデリングによる3Dシーン理解

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

著者: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

要旨

単一画像からの3Dシーン理解は、コンピュータビジョンにおける重要な課題であり、グラフィックス、拡張現実、ロボティクスなど多くの下流アプリケーションに応用されています。拡散ベースのモデリング手法は有望な成果を示していますが、特に複雑な現実世界のシナリオでは、オブジェクトやシーンの一貫性を維持するのに苦労することがあります。これらの制限に対処するため、我々はLocal Random Access Sequence（LRAS）モデリングと呼ばれる自己回帰的生成アプローチを提案します。この手法は、ローカルパッチの量子化とランダムな順序のシーケンス生成を利用します。3Dシーン編集の中間表現としてオプティカルフローを活用することで、我々の実験はLRASが最新の新規視点合成と3Dオブジェクト操作能力を達成することを実証しています。さらに、シーケンス設計を簡単に変更することで、このフレームワークが自己教師あり深度推定に自然に拡張可能であることを示します。複数の3Dシーン理解タスクで強力な性能を達成することで、LRASは次世代の3Dビジョンモデルを構築するための統一された効果的なフレームワークを提供します。

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.