아리아 일상 활동 데이터셋
Aria Everyday Activities Dataset
February 20, 2024
저자: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren
cs.AI
초록
본 논문에서는 Project Aria 안경을 사용하여 기록된 자기 중심적(egocentric) 멀티모달 오픈 데이터셋인 Aria Everyday Activities(AEA) 데이터셋을 소개한다. AEA 데이터셋은 지리적으로 다양한 5개의 실내 환경에서 여러 사용자가 기록한 143개의 일상 활동 시퀀스로 구성되어 있다. 각 기록은 Project Aria 안경을 통해 수집된 멀티모달 센서 데이터를 포함한다. 또한, AEA는 고주파 전역 정렬 3D 궤적, 장면 포인트 클라우드, 프레임별 3D 시선 벡터, 시간 정렬 음성 전사 등 기계 인지 데이터를 제공한다. 본 논문에서는 이 데이터셋을 활용한 신경망 기반 장면 재구성 및 프롬프트 기반 분할과 같은 몇 가지 예시 연구 응용 사례를 제시한다. AEA는 오픈소스 데이터셋으로, projectaria.com에서 다운로드할 수 있다. 또한, Project Aria Tools에서 데이터셋을 사용하는 방법에 대한 오픈소스 구현 및 예제도 제공한다.
English
We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal
open dataset recorded using Project Aria glasses. AEA contains 143 daily
activity sequences recorded by multiple wearers in five geographically diverse
indoor locations. Each of the recording contains multimodal sensor data
recorded through the Project Aria glasses. In addition, AEA provides machine
perception data including high frequency globally aligned 3D trajectories,
scene point cloud, per-frame 3D eye gaze vector and time aligned speech
transcription. In this paper, we demonstrate a few exemplar research
applications enabled by this dataset, including neural scene reconstruction and
prompted segmentation. AEA is an open source dataset that can be downloaded
from projectaria.com. We are also providing open-source implementations and
examples of how to use the dataset in Project Aria Tools.