SlotLifter: Elevação de Características Guiada por Slots para Aprendizado de Campos de Radiância Centrados em Objetos

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Autores: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Resumo

A capacidade de destilar abstrações centradas em objetos a partir de cenas visuais intricadas fundamenta a generalização em nível humano. Apesar do progresso significativo em métodos de aprendizado centrados em objetos, aprender representações centradas em objetos no mundo físico 3D continua sendo um desafio crucial. Neste trabalho, propomos o SlotLifter, um novo modelo de radiância centrado em objetos que aborda a reconstrução e decomposição de cenas de forma conjunta por meio do levantamento de características guiado por slots. Tal projeto une representações de aprendizado centradas em objetos e métodos de renderização baseados em imagens, oferecendo desempenho de ponta na decomposição de cenas e síntese de novas visualizações em quatro conjuntos de dados sintéticos desafiadores e quatro conjuntos de dados do mundo real complexos, superando significativamente os métodos existentes de aprendizado centrado em objetos 3D. Através de estudos ablativos extensivos, demonstramos a eficácia dos projetos no SlotLifter, revelando insights importantes para direções futuras potenciais.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.