Jeu de données des activités quotidiennes Aria

Aria Everyday Activities Dataset

February 20, 2024

Auteurs: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Résumé

Nous présentons le jeu de données Aria Everyday Activities (AEA), un ensemble de données ouvert et multimodal enregistré en vision égocentrique à l'aide des lunettes Project Aria. AEA contient 143 séquences d'activités quotidiennes capturées par plusieurs porteurs dans cinq lieux intérieurs géographiquement diversifiés. Chaque enregistrement comprend des données multimodales issues des capteurs des lunettes Project Aria. De plus, AEA fournit des données de perception machine, notamment des trajectoires 3D alignées globalement à haute fréquence, un nuage de points de la scène, un vecteur de regard 3D par image et une transcription vocale synchronisée dans le temps. Dans cet article, nous illustrons quelques exemples d'applications de recherche rendues possibles par ce jeu de données, telles que la reconstruction neuronale de scènes et la segmentation guidée. AEA est un jeu de données open source téléchargeable sur projectaria.com. Nous mettons également à disposition des implémentations open source et des exemples d'utilisation du jeu de données dans les outils Project Aria.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.