OCTScenes: Un Dataset Versatile di Scene su Tavolo per l'Apprendimento Centrato sugli Oggetti nel Mondo Reale

OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning

June 16, 2023

Autori: Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue

cs.AI

Abstract

Gli esseri umani possiedono la capacità cognitiva di comprendere le scene in modo composizionale. Per dotare i sistemi di intelligenza artificiale di abilità simili, l'apprendimento di rappresentazioni centrate sugli oggetti mira ad acquisire rappresentazioni di singoli oggetti da scene visive senza alcuna supervisione. Sebbene i recenti progressi nell'apprendimento di rappresentazioni centrate sugli oggetti abbiano ottenuto risultati notevoli su dataset di sintesi complessi, rimane una grande sfida per l'applicazione in scene reali complesse. Una delle ragioni essenziali è la scarsità di dataset del mondo reale specificamente progettati per metodi di apprendimento di rappresentazioni centrate sugli oggetti. Per risolvere questo problema, proponiamo un dataset versatile di scene su tavolo per l'apprendimento centrato sugli oggetti chiamato OCTScenes, che è stato meticolosamente progettato per servire come benchmark per confrontare, valutare e analizzare i metodi di apprendimento di rappresentazioni centrate sugli oggetti. OCTScenes contiene 5000 scene su tavolo con un totale di 15 oggetti di uso quotidiano. Ogni scena è catturata in 60 frame che coprono una prospettiva a 360 gradi. Di conseguenza, OCTScenes è un dataset benchmark versatile che può soddisfare simultaneamente la valutazione dei metodi di apprendimento di rappresentazioni centrate sugli oggetti su compiti di scene statiche, dinamiche e multi-vista. Sono stati condotti esperimenti estesi di metodi di apprendimento di rappresentazioni centrate sugli oggetti per scene statiche, dinamiche e multi-vista su OCTScenes. I risultati dimostrano le carenze dei metodi all'avanguardia nell'apprendere rappresentazioni significative da dati del mondo reale, nonostante le loro prestazioni impressionanti su dataset di sintesi complessi. Inoltre, OCTScenes può servire come catalizzatore per far progredire i metodi all'avanguardia esistenti, ispirandoli ad adattarsi alle scene del mondo reale. Il dataset e il codice sono disponibili all'indirizzo https://huggingface.co/datasets/Yinxuan/OCTScenes.

English

Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar abilities, object-centric representation learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advancements in object-centric representation learning have achieved remarkable progress on complex synthesis datasets, there is a huge challenge for application in complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric representation learning methods. To solve this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating and analyzing object-centric representation learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 everyday objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric representation learning methods across static scenes, dynamic scenes, and multi-view scenes tasks. Extensive experiments of object-centric representation learning methods for static, dynamic and multi-view scenes are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serves as a catalyst for advancing existing state-of-the-art methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes.