OCTScenes : Un ensemble de données polyvalent de scènes de table pour l'apprentissage centré sur les objets dans des environnements réels

OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning

June 16, 2023

Auteurs: Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue

cs.AI

Résumé

Les humains possèdent la capacité cognitive de comprendre les scènes de manière compositionnelle. Pour doter les systèmes d'IA de capacités similaires, l'apprentissage de représentations centrées sur les objets vise à acquérir des représentations d'objets individuels à partir de scènes visuelles sans aucune supervision. Bien que les avancées récentes dans l'apprentissage de représentations centrées sur les objets aient permis des progrès remarquables sur des ensembles de données de synthèse complexes, leur application à des scènes réelles complexes reste un défi majeur. L'une des raisons essentielles est la rareté des ensembles de données du monde réel spécifiquement conçus pour les méthodes d'apprentissage de représentations centrées sur les objets. Pour résoudre ce problème, nous proposons un ensemble de données polyvalent de scènes de table pour l'apprentissage centré sur les objets, appelé OCTScenes, qui est méticuleusement conçu pour servir de référence pour comparer, évaluer et analyser les méthodes d'apprentissage de représentations centrées sur les objets. OCTScenes contient 5000 scènes de table avec un total de 15 objets du quotidien. Chaque scène est capturée en 60 images couvrant une perspective à 360 degrés. Par conséquent, OCTScenes est un ensemble de données de référence polyvalent qui peut simultanément satisfaire l'évaluation des méthodes d'apprentissage de représentations centrées sur les objets pour les tâches de scènes statiques, dynamiques et multi-vues. Des expériences approfondies des méthodes d'apprentissage de représentations centrées sur les objets pour les scènes statiques, dynamiques et multi-vues sont menées sur OCTScenes. Les résultats mettent en évidence les lacunes des méthodes de pointe pour apprendre des représentations significatives à partir de données du monde réel, malgré leurs performances impressionnantes sur des ensembles de données de synthèse complexes. De plus, OCTScenes peut servir de catalyseur pour faire progresser les méthodes de pointe existantes, en les incitant à s'adapter aux scènes du monde réel. L'ensemble de données et le code sont disponibles à l'adresse suivante : https://huggingface.co/datasets/Yinxuan/OCTScenes.

English

Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar abilities, object-centric representation learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advancements in object-centric representation learning have achieved remarkable progress on complex synthesis datasets, there is a huge challenge for application in complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric representation learning methods. To solve this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating and analyzing object-centric representation learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 everyday objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric representation learning methods across static scenes, dynamic scenes, and multi-view scenes tasks. Extensive experiments of object-centric representation learning methods for static, dynamic and multi-view scenes are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serves as a catalyst for advancing existing state-of-the-art methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes.