OCTScenes: Универсальный набор данных реальных сцен на столе для объектно-ориентированного обучения

OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning

June 16, 2023

Авторы: Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue

cs.AI

Аннотация

Люди обладают когнитивной способностью воспринимать сцены композиционно. Чтобы наделить системы ИИ аналогичными возможностями, обучение объектно-ориентированных представлений направлено на получение представлений отдельных объектов из визуальных сцен без какого-либо контроля. Хотя последние достижения в области обучения объектно-ориентированных представлений достигли значительного прогресса на сложных синтетических наборах данных, существует серьезная проблема для применения в сложных реальных сценах. Одной из ключевых причин является недостаток реальных наборов данных, специально адаптированных для методов обучения объектно-ориентированных представлений. Чтобы решить эту проблему, мы предлагаем универсальный набор данных реальных сцен настольных объектов для объектно-ориентированного обучения под названием OCTScenes, который тщательно разработан для использования в качестве эталона для сравнения, оценки и анализа методов обучения объектно-ориентированных представлений. OCTScenes содержит 5000 сцен настольных объектов с общим количеством 15 повседневных предметов. Каждая сцена запечатлена в 60 кадрах, охватывающих 360-градусную перспективу. Таким образом, OCTScenes представляет собой универсальный набор данных для оценки методов обучения объектно-ориентированных представлений в задачах статических сцен, динамических сцен и сцен с несколькими ракурсами. На OCTScenes проведены обширные эксперименты методов обучения объектно-ориентированных представлений для статических, динамических и многовидовых сцен. Результаты демонстрируют недостатки современных методов в обучении значимых представлений из реальных данных, несмотря на их впечатляющую производительность на сложных синтетических наборах данных. Более того, OCTScenes может служить катализатором для совершенствования существующих передовых методов, вдохновляя их на адаптацию к реальным сценам. Набор данных и код доступны по адресу https://huggingface.co/datasets/Yinxuan/OCTScenes.

English

Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar abilities, object-centric representation learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advancements in object-centric representation learning have achieved remarkable progress on complex synthesis datasets, there is a huge challenge for application in complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric representation learning methods. To solve this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating and analyzing object-centric representation learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 everyday objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric representation learning methods across static scenes, dynamic scenes, and multi-view scenes tasks. Extensive experiments of object-centric representation learning methods for static, dynamic and multi-view scenes are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serves as a catalyst for advancing existing state-of-the-art methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes.