SlotLifter: Elevación de Características Guiada por Espacios para el Aprendizaje de Campos de Radiancia Centrados en Objetos

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Autores: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Resumen

La capacidad de destilar abstracciones centradas en objetos de escenas visuales intrincadas sustenta la generalización a nivel humano. A pesar del progreso significativo en los métodos de aprendizaje centrados en objetos, aprender representaciones centradas en objetos en el mundo físico en 3D sigue siendo un desafío crucial. En este trabajo, proponemos SlotLifter, un novedoso modelo de radiación centrado en objetos que aborda la reconstrucción y descomposición de escenas de manera conjunta a través de un levantamiento de características guiado por ranuras. Este diseño une representaciones de aprendizaje centradas en objetos y métodos de renderizado basados en imágenes, ofreciendo un rendimiento de vanguardia en la descomposición de escenas y la síntesis de nuevas vistas en cuatro desafiantes conjuntos de datos sintéticos y cuatro complejos conjuntos de datos del mundo real, superando de manera significativa a los métodos existentes de aprendizaje centrado en objetos en 3D. A través de exhaustivos estudios ablativos, demostramos la eficacia de los diseños en SlotLifter, revelando ideas clave para posibles direcciones futuras.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.