Dataset delle Attività Quotidiane di Aria

Abstract

Presentiamo il dataset Aria Everyday Activities (AEA), un dataset egocentrico multimodale aperto registrato utilizzando gli occhiali Project Aria. AEA contiene 143 sequenze di attività quotidiane registrate da più utilizzatori in cinque luoghi interni geograficamente diversificati. Ciascuna registrazione include dati multimodali raccolti attraverso gli occhiali Project Aria. Inoltre, AEA fornisce dati di percezione macchina, tra cui traiettorie 3D ad alta frequenza allineate globalmente, nuvole di punti della scena, vettori 3D dello sguardo per fotogramma e trascrizioni vocali allineate temporalmente. In questo articolo, dimostriamo alcune applicazioni di ricerca esemplari abilitate da questo dataset, tra cui la ricostruzione neurale della scena e la segmentazione guidata. AEA è un dataset open source scaricabile da projectaria.com. Forniamo inoltre implementazioni open source ed esempi su come utilizzare il dataset in Project Aria Tools.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.

Dataset delle Attività Quotidiane di Aria

Aria Everyday Activities Dataset

Abstract

Support