Набор данных Aria Everyday Activities

Aria Everyday Activities Dataset

February 20, 2024

Авторы: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Аннотация

Мы представляем набор данных Aria Everyday Activities (AEA) — эгоцентричный мультимодальный открытый набор данных, записанный с использованием очков Project Aria. AEA содержит 143 последовательности повседневной активности, записанные несколькими пользователями в пяти географически разнообразных помещениях. Каждая запись включает мультимодальные данные сенсоров, собранные через очки Project Aria. Кроме того, AEA предоставляет данные машинного восприятия, включая высокочастотные глобально выровненные 3D-траектории, облако точек сцены, 3D-вектор направления взгляда для каждого кадра и синхронизированную с временной шкалой расшифровку речи. В данной статье мы демонстрируем несколько примеров исследовательских приложений, реализованных с использованием этого набора данных, включая нейронную реконструкцию сцены и сегментацию по запросу. AEA является открытым набором данных, который можно загрузить с сайта projectaria.com. Мы также предоставляем открытые реализации и примеры использования набора данных в инструментах Project Aria Tools.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.