SlotLifter: Slot-geführtes Merkmalheben zum Lernen von Objektzentrierten Strahlungsfeldern

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Autoren: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Zusammenfassung

Die Fähigkeit, objektorientierte Abstraktionen aus komplexen visuellen Szenen zu extrahieren, bildet die Grundlage für Generalisierung auf menschlicher Ebene. Trotz des signifikanten Fortschritts bei objektorientierten Lernmethoden bleibt das Lernen von objektorientierten Repräsentationen in der 3D-physikalischen Welt eine entscheidende Herausforderung. In dieser Arbeit schlagen wir SlotLifter vor, ein neuartiges Strahlungsmodell mit objektorientiertem Ansatz, das die Szenenrekonstruktion und -zerlegung gemeinsam durch slotgeführtes Merkmalheben angeht. Ein solches Design vereint objektorientierte Lernrepräsentationen und bildbasierte Rendering-Methoden, die eine erstklassige Leistung bei der Szenenzerlegung und der Synthese von neuen Ansichten auf vier anspruchsvollen synthetischen und vier komplexen realen Datensätzen bieten und bestehende 3D-objektorientierte Lernmethoden bei weitem übertreffen. Durch umfangreiche ablative Studien zeigen wir die Wirksamkeit der Designs in SlotLifter auf und offenbaren wichtige Erkenntnisse für potenzielle zukünftige Richtungen.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.