SlotLifter: Sollevamento delle Caratteristiche Guidato da Slot per l'Apprendimento di Campi di Radianza Centrati sugli Oggetti

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Autori: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Abstract

La capacità di distillare astrazioni centrate sugli oggetti da scene visive complesse è alla base della generalizzazione di livello umano. Nonostante i significativi progressi nei metodi di apprendimento centrati sugli oggetti, l'apprendimento di rappresentazioni centrate sugli oggetti nel mondo fisico 3D rimane una sfida cruciale. In questo lavoro, proponiamo SlotLifter, un innovativo modello di radianza centrato sugli oggetti che affronta congiuntamente la ricostruzione e la scomposizione della scene tramite il sollevamento di caratteristiche guidato da slot. Tale design unisce rappresentazioni di apprendimento centrate sugli oggetti e metodi di rendering basati su immagini, offrendo prestazioni all'avanguardia nella scomposizione delle scene e nella sintesi di nuove viste su quattro dataset sintetici impegnativi e quattro dataset real-world complessi, superando di gran lunga i metodi esistenti di apprendimento 3D centrati sugli oggetti. Attraverso studi ablativi estesi, dimostriamo l'efficacia dei design in SlotLifter, rivelando intuizioni chiave per potenziali direzioni future.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.