Ego-OSCAR: 自己中心的オープンソースステレオキャプチャシステム

要旨

我々は、実環境でのエゴセントリックデータ収集のための、オープンハードウェアで低コストなヘッドマウント型ステレオ慣性キャプチャデバイスEgo-OSCARを提案する。Ego-OSCARは、ハードウェア同期されたグローバルシャッター方式のステレオカメラを、6軸IMU、デバイス上でビデオエンコードを行う組み込みLinux SBC、そしてユーザーフィードバックとウォッチドッグ機能のためのリアルタイムマイクロコントローラと組み合わせる。完全な部品表（BOM）は、市販部品と3Dプリント部品のみを使用し、1ユニットあたり200米ドル未満である。デバイスに加えて、我々は完全なソフトウェアスタック（ハードウェアアクセラレーション対応の録画パイプライン、IMUサンプリングデーモン、時刻同期ツール、ウォッチドッグファームウェア）と、分散した貢献者ネットワークが日常的な屋内環境で収集した、同期IMU付きのカメラあたり約550時間のエゴセントリックステレオビデオを公開する。この公開データは生データではなく注釈付きである。すなわち、自由形式の行動キャプションがオープン語彙で記録されたタイムラインのほぼ全体をカバーし、フレームごとの3Dハンド再構成がセッションごとのステレオキャリブレーションとともに提供される。Ego-OSCARは、Project Ariaのような研究用システムのユニットごとの忠実度に匹敵することを目的としているわけではない。その目的は、クラウドソーシングによるエゴセントリックデータ収集のための最も安価で妥当な基盤となり、大規模にエゴセントリックデータを収集したいあらゆるチームにとっての活性化エネルギーを下げることである。すべてのハードウェア設計、ソフトウェア、データセットはオープンソースとして公開される。

English

We present Ego-OSCAR, an open-hardware, low-cost, head-mounted stereo-inertial capture device for egocentric data collection in the wild. EgoOSCAR pairs a hardware-synchronized global-shutter stereo camera with a 6- axis IMU, an embedded Linux SBC for on-device video encoding, and a realtime microcontroller for user feedback and watchdog functions. The complete bill of materials is under USD 200 per unit, using only commercially available components and 3D-printed parts. Alongside the device, we release a complete software stack (hardware-accelerated recording pipeline, IMU sampling daemon, time-synchronization tooling, and watchdog firmware) and roughly 550 hours of egocentric stereo video per camera with synchronized IMU, collected by a distributed contributor network across everyday indoor environments. The release is annotated rather than raw: free-form action captions cover essentially the entire recorded timeline with an open vocabulary, and per-frame 3D hand reconstructions ship alongside per-session stereo calibration. Ego-OSCAR does not aim to match the per-unit fidelity of research-grade systems such as Project Aria; it aims to be the cheapest defensible substrate for crowdsourced egocentric capture, and to lower the activation energy for any team that wants to collect egocentric data at scale. All hardware designs, software, and the dataset are open-sourced