Aria日常活動データセット

Aria Everyday Activities Dataset

February 20, 2024

著者: Zhaoyang Lv, Nickolas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, Carl Ren

cs.AI

要旨

私たちは、Project Ariaグラスを使用して記録されたエゴセントリックなマルチモーダルオープンデータセットであるAria Everyday Activities (AEA) Datasetを紹介します。AEAは、地理的に多様な5つの屋内場所で複数の着用者によって記録された143の日常活動シーケンスを含んでいます。各記録には、Project Ariaグラスを通じて記録されたマルチモーダルセンサーデータが含まれています。さらに、AEAは、高頻度でグローバルに整列された3D軌跡、シーンポイントクラウド、フレームごとの3D視線ベクトル、時間同期された音声転写などの機械知覚データを提供します。本論文では、このデータセットによって可能となるいくつかの研究応用例、例えばニューラルシーン再構築やプロンプト付きセグメンテーションなどを示します。AEAはオープンソースデータセットであり、projectaria.comからダウンロードできます。また、Project Aria Toolsでのデータセットの使用方法に関するオープンソースの実装と例も提供しています。

English

We present Aria Everyday Activities (AEA) Dataset, an egocentric multimodal open dataset recorded using Project Aria glasses. AEA contains 143 daily activity sequences recorded by multiple wearers in five geographically diverse indoor locations. Each of the recording contains multimodal sensor data recorded through the Project Aria glasses. In addition, AEA provides machine perception data including high frequency globally aligned 3D trajectories, scene point cloud, per-frame 3D eye gaze vector and time aligned speech transcription. In this paper, we demonstrate a few exemplar research applications enabled by this dataset, including neural scene reconstruction and prompted segmentation. AEA is an open source dataset that can be downloaded from projectaria.com. We are also providing open-source implementations and examples of how to use the dataset in Project Aria Tools.