SlotLifter : Relèvement de caractéristiques guidé par des slots pour l'apprentissage de champs de radiance centrés sur les objets

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Auteurs: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Résumé

La capacité à extraire des abstractions centrées sur les objets à partir de scènes visuelles complexes est fondamentale pour une généralisation de niveau humain. Malgré les progrès significatifs des méthodes d'apprentissage centrées sur les objets, l'apprentissage de représentations centrées sur les objets dans le monde physique en 3D reste un défi crucial. Dans ce travail, nous proposons SlotLifter, un nouveau modèle de radiance centré sur les objets qui aborde conjointement la reconstruction et la décomposition de scènes via un relèvement de caractéristiques guidé par des slots. Une telle conception unifie les représentations d'apprentissage centrées sur les objets et les méthodes de rendu basées sur l'image, offrant des performances de pointe en décomposition de scènes et en synthèse de nouvelles vues sur quatre ensembles de données synthétiques complexes et quatre ensembles de données réels, surpassant largement les méthodes existantes d'apprentissage centré sur les objets en 3D. À travers des études ablatives approfondies, nous démontrons l'efficacité des conceptions de SlotLifter, révélant des insights clés pour des orientations futures potentielles.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.