OCTScenes: Ein vielseitiger Realwelt-Datensatz von Tischszenen für objektzentriertes Lernen

OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning

June 16, 2023

Autoren: Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue

cs.AI

Zusammenfassung

Menschen verfügen über die kognitive Fähigkeit, Szenen auf eine kompositionelle Weise zu verstehen. Um KI-Systeme mit ähnlichen Fähigkeiten auszustatten, zielt das objektzentrierte Repräsentationslernen darauf ab, Repräsentationen einzelner Objekte aus visuellen Szenen ohne jegliche Überwachung zu erlernen. Obwohl jüngste Fortschritte im objektzentrierten Repräsentationslernen bemerkenswerte Erfolge auf komplexen Synthesedatensätzen erzielt haben, besteht eine große Herausforderung bei der Anwendung in komplexen realen Szenen. Ein wesentlicher Grund dafür ist der Mangel an realen Datensätzen, die speziell für objektzentrierte Repräsentationslernmethoden entwickelt wurden. Um dieses Problem zu lösen, schlagen wir einen vielseitigen realen Datensatz von Tischszenen für das objektzentrierte Lernen vor, der OCTScenes genannt wird und sorgfältig als Benchmark für den Vergleich, die Bewertung und die Analyse von objektzentrierten Repräsentationslernmethoden konzipiert ist. OCTScenes enthält 5000 Tischszenen mit insgesamt 15 alltäglichen Objekten. Jede Szene wird in 60 Bildern erfasst, die eine 360-Grad-Perspektive abdecken. Folglich ist OCTScenes ein vielseitiger Benchmark-Datensatz, der gleichzeitig die Bewertung von objektzentrierten Repräsentationslernmethoden für statische Szenen, dynamische Szenen und Multi-View-Szenen-Aufgaben erfüllen kann. Umfangreiche Experimente von objektzentrierten Repräsentationslernmethoden für statische, dynamische und Multi-View-Szenen werden auf OCTScenes durchgeführt. Die Ergebnisse zeigen die Schwächen der state-of-the-art Methoden beim Erlernen aussagekräftiger Repräsentationen aus realen Daten, trotz ihrer beeindruckenden Leistung auf komplexen Synthesedatensätzen. Darüber hinaus kann OCTScenes als Katalysator für die Weiterentwicklung bestehender state-of-the-art Methoden dienen und sie dazu inspirieren, sich an reale Szenen anzupassen. Der Datensatz und der Code sind unter https://huggingface.co/datasets/Yinxuan/OCTScenes verfügbar.

English

Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar abilities, object-centric representation learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advancements in object-centric representation learning have achieved remarkable progress on complex synthesis datasets, there is a huge challenge for application in complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric representation learning methods. To solve this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating and analyzing object-centric representation learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 everyday objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric representation learning methods across static scenes, dynamic scenes, and multi-view scenes tasks. Extensive experiments of object-centric representation learning methods for static, dynamic and multi-view scenes are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serves as a catalyst for advancing existing state-of-the-art methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes.