Aria Dataset voor Dagelijkse Activiteiten

Aria Everyday Activities Dataset

February 20, 2024

Auteurs: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

Samenvatting

We presenteren het Aria Everyday Activities (AEA) Dataset, een egocentrische multimodale open dataset die is vastgelegd met behulp van Project Aria-brillen. AEA bevat 143 dagelijkse activiteitensequenties die zijn opgenomen door meerdere dragers op vijf geografisch diverse binnenlocaties. Elke opname bevat multimodale sensordata die is vastgelegd via de Project Aria-brillen. Daarnaast biedt AEA machineperceptiedata, waaronder hoogfrequente wereldwijd uitgelijnde 3D-trajecten, een puntenwolk van de scène, een 3D-oogrichtingsvector per frame en tijdelijk uitgelijnde spraaktranscriptie. In dit artikel demonstreren we enkele voorbeeldonderzoekstoepassingen die mogelijk worden gemaakt door deze dataset, waaronder neurale scène-reconstructie en geprompte segmentatie. AEA is een open source dataset die kan worden gedownload via projectaria.com. We bieden ook open-source implementaties en voorbeelden van hoe de dataset kan worden gebruikt in Project Aria Tools.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.