Aria-Datensatz für alltägliche Aktivitäten

Aria Everyday Activities Dataset

February 20, 2024

Autoren: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Zusammenfassung

Wir präsentieren das Aria Everyday Activities (AEA) Dataset, ein egozentrisches, multimodales Open-Dataset, das mit den Project Aria Brillen aufgezeichnet wurde. AEA umfasst 143 Sequenzen alltäglicher Aktivitäten, die von mehreren Trägern an fünf geografisch unterschiedlichen Innenräumen erfasst wurden. Jede Aufzeichnung enthält multimodale Sensordaten, die durch die Project Aria Brillen aufgezeichnet wurden. Darüber hinaus bietet AEA maschinelle Wahrnehmungsdaten, darunter hochfrequente global ausgerichtete 3D-Trajektorien, Punktwolken der Szene, pro Frame ausgerichtete 3D-Blickvektoren und zeitlich synchronisierte Sprachtranskriptionen. In diesem Artikel zeigen wir einige beispielhafte Forschungsanwendungen, die durch dieses Dataset ermöglicht werden, darunter neuronale Szenenrekonstruktion und promptgesteuerte Segmentierung. AEA ist ein Open-Source-Dataset, das unter projectaria.com heruntergeladen werden kann. Wir stellen auch Open-Source-Implementierungen und Beispiele zur Nutzung des Datasets in den Project Aria Tools bereit.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.