SlotLifter: Slot-geleide Feature Lifting voor het Leren van Object-centrische Radiance Fields

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Auteurs: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Samenvatting

Het vermogen om objectgerichte abstracties te distilleren uit complexe visuele scènes vormt de basis voor generalisatie op menselijk niveau. Ondanks de aanzienlijke vooruitgang in objectgerichte leermethoden, blijft het leren van objectgerichte representaties in de fysieke 3D-wereld een cruciale uitdaging. In dit werk stellen we SlotLifter voor, een nieuw objectgericht stralingsmodel dat scène-reconstructie en -decompositie gezamenlijk aanpakt via slot-gestuurde feature lifting. Een dergelijk ontwerp verenigt objectgerichte leerrepresentaties en op afbeeldingen gebaseerde renderingmethoden, en biedt state-of-the-art prestaties in scène-decompositie en novel-view synthese op vier uitdagende synthetische en vier complexe real-world datasets, waarbij bestaande 3D objectgerichte leermethoden met een grote marge worden overtroffen. Door middel van uitgebreide ablatie-studies tonen we de effectiviteit van de ontwerpen in SlotLifter aan, wat belangrijke inzichten oplevert voor mogelijke toekomstige richtingen.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.