Ego-OSCAR: 자아중심적 오픈소스 스테레오 캡처 시스템

초록

우리는 실제 환경에서 1인칭 데이터 수집을 위한 오픈 하드웨어 기반의 저비용 머리 장착형 스테레오-관성 캡처 장치인 Ego-OSCAR를 제시한다. Ego-OSCAR는 하드웨어 동기화된 글로벌 셔터 스테레오 카메라를 6축 IMU, 온디바이스 비디오 인코딩용 임베디드 리눅스 SBC, 사용자 피드백 및 워치독 기능을 위한 실시간 마이크로컨트롤러와 결합한다. 전체 부품 목록(BOM)은 단위당 미화 200달러 미만이며, 상용 부품과 3D 프린팅 부품만으로 구성된다. 장치와 함께, 완전한 소프트웨어 스택(하드웨어 가속 녹화 파이프라인, IMU 샘플링 데몬, 시간 동기화 도구, 워치독 펌웨어)과, 분산된 기여자 네트워크를 통해 일상적인 실내 환경에서 수집된 카메라당 약 550시간의 1인칭 스테레오 비디오 및 동기화된 IMU 데이터를 배포한다. 배포되는 데이터는 원시(raw) 형태가 아니라 주석(annotation)이 포함된 형태이다. 자유 형식의 행동 캡션이 개방형 어휘로 사실상 전체 녹화 타임라인을 설명하며, 프레임별 3D 손 재구성 결과물이 세션별 스테레오 캘리브레이션과 함께 제공된다. Ego-OSCAR는 Project Aria와 같은 연구용 시스템의 단위당 충실도를 맞추는 것을 목표로 하지 않는다. 오히려 크라우드소싱 기반 1인칭 캡처를 위한 가장 저렴하면서도 정당화 가능한 기반이 되고, 대규모 1인칭 데이터를 수집하려는 모든 팀의 진입 장벽(활성화 에너지)을 낮추는 것을 목표로 한다. 모든 하드웨어 설계, 소프트웨어, 데이터셋은 오픈소스로 공개된다.

English

We present Ego-OSCAR, an open-hardware, low-cost, head-mounted stereo-inertial capture device for egocentric data collection in the wild. EgoOSCAR pairs a hardware-synchronized global-shutter stereo camera with a 6- axis IMU, an embedded Linux SBC for on-device video encoding, and a realtime microcontroller for user feedback and watchdog functions. The complete bill of materials is under USD 200 per unit, using only commercially available components and 3D-printed parts. Alongside the device, we release a complete software stack (hardware-accelerated recording pipeline, IMU sampling daemon, time-synchronization tooling, and watchdog firmware) and roughly 550 hours of egocentric stereo video per camera with synchronized IMU, collected by a distributed contributor network across everyday indoor environments. The release is annotated rather than raw: free-form action captions cover essentially the entire recorded timeline with an open vocabulary, and per-frame 3D hand reconstructions ship alongside per-session stereo calibration. Ego-OSCAR does not aim to match the per-unit fidelity of research-grade systems such as Project Aria; it aims to be the cheapest defensible substrate for crowdsourced egocentric capture, and to lower the activation energy for any team that wants to collect egocentric data at scale. All hardware designs, software, and the dataset are open-sourced