Conjunto de Datos de Actividades Cotidianas Aria

Aria Everyday Activities Dataset

February 20, 2024

Autores: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Resumen

Presentamos el conjunto de datos Aria Everyday Activities (AEA), un conjunto de datos multimodal egocéntrico y abierto grabado utilizando las gafas Project Aria. AEA contiene 143 secuencias de actividades diarias registradas por múltiples usuarios en cinco ubicaciones interiores geográficamente diversas. Cada grabación incluye datos de sensores multimodales capturados a través de las gafas Project Aria. Además, AEA proporciona datos de percepción automática, como trayectorias 3D alineadas globalmente de alta frecuencia, nubes de puntos de la escena, vectores 3D de la mirada por fotograma y transcripciones de voz alineadas temporalmente. En este artículo, demostramos algunas aplicaciones de investigación ejemplares habilitadas por este conjunto de datos, incluyendo la reconstrucción neuronal de escenas y la segmentación guiada por indicaciones. AEA es un conjunto de datos de código abierto que puede descargarse desde projectaria.com. También proporcionamos implementaciones de código abierto y ejemplos de cómo utilizar el conjunto de datos en las herramientas de Project Aria.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.