SlotLifter: オブジェクト中心の放射輝度場学習のためのスロット誘導型特徴リフティング

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

著者: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

要旨

複雑な視覚シーンから物体中心の抽象概念を抽出する能力は、人間レベルの汎化能力の基盤をなす。物体中心学習手法の著しい進展にもかかわらず、3D物理世界における物体中心表現の学習は依然として重要な課題である。本研究では、SlotLifterという新しい物体中心放射モデルを提案する。このモデルは、スロット誘導特徴リフティングを通じてシーン再構築と分解を同時に行う。この設計により、物体中心学習表現と画像ベースレンダリング手法が統合され、4つの挑戦的な合成データセットと4つの複雑な実世界データセットにおいて、シーン分解と新規視点合成において最先端の性能を発揮し、既存の3D物体中心学習手法を大きく上回る。広範なアブレーション研究を通じて、SlotLifterの設計の有効性を実証し、将来の潜在的な方向性に対する重要な洞察を明らかにする。

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.