Conjunto de Dados de Atividades Diárias Aria

Aria Everyday Activities Dataset

February 20, 2024

Autores: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Resumo

Apresentamos o Conjunto de Dados Aria Everyday Activities (AEA), um conjunto de dados aberto e multimodal egocêntrico, gravado utilizando os óculos Project Aria. O AEA contém 143 sequências de atividades diárias registradas por múltiplos usuários em cinco locais internos geograficamente diversos. Cada gravação inclui dados de sensores multimodais capturados pelos óculos Project Aria. Além disso, o AEA fornece dados de percepção computacional, como trajetórias 3D alinhadas globalmente de alta frequência, nuvem de pontos da cena, vetor de direção do olhar 3D por quadro e transcrição de fala alinhada temporalmente. Neste artigo, demonstramos algumas aplicações de pesquisa exemplares possibilitadas por este conjunto de dados, incluindo reconstrução neural de cenas e segmentação por prompt. O AEA é um conjunto de dados de código aberto que pode ser baixado em projectaria.com. Também estamos disponibilizando implementações de código aberto e exemplos de como utilizar o conjunto de dados nas ferramentas do Project Aria.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.