OCTScenes: Um Conjunto de Dados Versátil de Cenas de Mesa do Mundo Real para Aprendizado Centrado em Objetos

OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning

June 16, 2023

Autores: Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue

cs.AI

Resumo

Os seres humanos possuem a capacidade cognitiva de compreender cenas de maneira composicional. Para capacitar sistemas de IA com habilidades semelhantes, o aprendizado de representação centrado em objetos visa adquirir representações de objetos individuais a partir de cenas visuais sem qualquer supervisão. Embora avanços recentes no aprendizado de representação centrado em objetos tenham alcançado progressos notáveis em conjuntos de dados de síntese complexos, há um grande desafio para a aplicação em cenas complexas do mundo real. Uma das razões essenciais é a escassez de conjuntos de dados do mundo real especificamente adaptados para métodos de aprendizado de representação centrado em objetos. Para resolver esse problema, propomos um conjunto de dados versátil de cenas de mesa para aprendizado centrado em objetos chamado OCTScenes, que foi meticulosamente projetado para servir como um benchmark para comparar, avaliar e analisar métodos de aprendizado de representação centrado em objetos. O OCTScenes contém 5000 cenas de mesa com um total de 15 objetos do cotidiano. Cada cena é capturada em 60 quadros, cobrindo uma perspectiva de 360 graus. Consequentemente, o OCTScenes é um conjunto de dados de benchmark versátil que pode simultaneamente satisfazer a avaliação de métodos de aprendizado de representação centrado em objetos em tarefas de cenas estáticas, dinâmicas e de múltiplas visões. Experimentos extensivos de métodos de aprendizado de representação centrado em objetos para cenas estáticas, dinâmicas e de múltiplas visões foram conduzidos no OCTScenes. Os resultados demonstram as deficiências dos métodos state-of-the-art para aprender representações significativas a partir de dados do mundo real, apesar de seu desempenho impressionante em conjuntos de dados de síntese complexos. Além disso, o OCTScenes pode servir como um catalisador para avançar os métodos state-of-the-art existentes, inspirando-os a se adaptarem a cenas do mundo real. O conjunto de dados e o código estão disponíveis em https://huggingface.co/datasets/Yinxuan/OCTScenes.

English

Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar abilities, object-centric representation learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advancements in object-centric representation learning have achieved remarkable progress on complex synthesis datasets, there is a huge challenge for application in complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric representation learning methods. To solve this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating and analyzing object-centric representation learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 everyday objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric representation learning methods across static scenes, dynamic scenes, and multi-view scenes tasks. Extensive experiments of object-centric representation learning methods for static, dynamic and multi-view scenes are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serves as a catalyst for advancing existing state-of-the-art methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes.