SlotLifter: Подъемник слотов: подъем признаков, направляемый слотами для обучения объектно-центрических радиационных полей

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

Авторы: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

Аннотация

Способность извлекать объектно-центрические абстракции из сложных визуальных сцен лежит в основе обобщения на уровне человека. Несмотря на значительный прогресс в методах обучения, ориентированных на объекты, обучение объектно-центрическим представлениям в трехмерном физическом мире остается важным вызовом. В данной работе мы предлагаем SlotLifter, новую модель объектно-центрического излучения, решающую задачи восстановления и декомпозиции сцены совместно с помощью подъема признаков, управляемого слотами. Такое решение объединяет представления обучения, ориентированные на объекты, и методы визуализации на основе изображений, предлагая передовую производительность в декомпозиции сцены и синтезе нового вида на четырех сложных синтетических и четырех сложных реальных наборах данных, превосходя существующие методы обучения объектно-центрическим представлениям в 3D мире на значительный уровень. Через обширные аблятивные исследования мы демонстрируем эффективность конструкции в SlotLifter, раскрывая ключевые идеи для потенциальных будущих направлений.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.