아리아 일상 활동 데이터셋

Aria Everyday Activities Dataset

February 20, 2024

저자: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

초록

본 논문에서는 Project Aria 안경을 사용하여 기록된 자기 중심적(egocentric) 멀티모달 오픈 데이터셋인 Aria Everyday Activities(AEA) 데이터셋을 소개한다. AEA 데이터셋은 지리적으로 다양한 5개의 실내 환경에서 여러 사용자가 기록한 143개의 일상 활동 시퀀스로 구성되어 있다. 각 기록은 Project Aria 안경을 통해 수집된 멀티모달 센서 데이터를 포함한다. 또한, AEA는 고주파 전역 정렬 3D 궤적, 장면 포인트 클라우드, 프레임별 3D 시선 벡터, 시간 정렬 음성 전사 등 기계 인지 데이터를 제공한다. 본 논문에서는 이 데이터셋을 활용한 신경망 기반 장면 재구성 및 프롬프트 기반 분할과 같은 몇 가지 예시 연구 응용 사례를 제시한다. AEA는 오픈소스 데이터셋으로, projectaria.com에서 다운로드할 수 있다. 또한, Project Aria Tools에서 데이터셋을 사용하는 방법에 대한 오픈소스 구현 및 예제도 제공한다.

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.