SlotLifter: 객체 중심 학습을 위한 슬롯 안내 특성 추출

SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

August 13, 2024

저자: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang

cs.AI

초록

복잡한 시각적 장면에서 객체 중심 추상화를 추출하는 능력은 인간 수준의 일반화를 뒷받침합니다. 객체 중심 학습 방법에서 상당한 진전이 있었음에도, 3D 물리적 세계에서 객체 중심 표현을 학습하는 것은 중요한 과제입니다. 본 연구에서는 SlotLifter를 제안합니다. 이는 슬롯 안내 기능을 통해 장면 재구성과 분해를 동시에 다루는 혁신적인 객체 중심 광도 모델입니다. 이러한 설계는 객체 중심 학습 표현과 이미지 기반 렌더링 방법을 통합하여, 네 가지 어려운 합성 및 네 가지 복잡한 실제 데이터셋에서 장면 분해 및 새로운 시점 합성에서 최첨단 성능을 제공하며, 기존의 3D 객체 중심 학습 방법을 크게 능가합니다. 철저한 탈석발적 연구를 통해 SlotLifter의 설계의 효과를 보여주며, 잠재적인 미래 방향에 대한 중요한 통찰을 제시합니다.

English

The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.