시각적 동기화: 교차 시점 객체 운동 기반 다중 카메라 동기화

초록

오늘날 사람들은 콘서트, 스포츠 행사, 강연, 가족 모임, 생일 파티 등에 이르기까지 기억에 남는 순간들을 다양한 소비자용 카메라로 손쉽게 기록할 수 있습니다. 그러나 이러한 크로스 카메라(cross-camera) 스트림을 동기화하는 것은 여전히 어려운 과제로 남아 있습니다. 기존 방법들은 통제된 환경, 특정 대상, 수동 보정, 또는 고가의 하드웨어를 전제로 합니다. 본 논문에서는 다중 뷰 동역학(multi-view dynamics)에 기반한 최적화 프레임워크인 VisualSync를 제안합니다. 이는 자세가 지정되지 않고 비동기화된 비디오들을 밀리초 단위 정확도로 정렬합니다. 우리의 핵심 통찰은 두 대의 카메라에 동시에 보이는(co-visible) 모든 이동하는 3D 점은 적절히 동기화되면 에피폴라 제약(epipolar constraints)을 따른다는 것입니다. 이를 활용하기 위해 VisualSync는 상용 3D 재구성, 특징점 매칭(feature matching), 그리고 밀집 추적(dense tracking)을 활용하여 트랙렛(tracklets), 상대적 자세(relative poses), 그리고 크로스 뷰 대응점(cross-view correspondences)을 추출합니다. 그런 다음 에피폴라 오차(epipolar error)를 공동으로 최소화하여 각 카메라의 시간 오프셋(time offset)을 추정합니다. 다양하고 도전적인 4개의 데이터셋에 대한 실험 결과, VisualSync가 기준 방법들(baseline methods)을 능가하며 중간 동기화 오차(median synchronization error)가 50ms 미만에 달하는 것을 확인했습니다.

English

Today, people can easily record memorable moments, ranging from concerts, sports events, lectures, family gatherings, and birthday parties with multiple consumer cameras. However, synchronizing these cross-camera streams remains challenging. Existing methods assume controlled settings, specific targets, manual correction, or costly hardware. We present VisualSync, an optimization framework based on multi-view dynamics that aligns unposed, unsynchronized videos at millisecond accuracy. Our key insight is that any moving 3D point, when co-visible in two cameras, obeys epipolar constraints once properly synchronized. To exploit this, VisualSync leverages off-the-shelf 3D reconstruction, feature matching, and dense tracking to extract tracklets, relative poses, and cross-view correspondences. It then jointly minimizes the epipolar error to estimate each camera's time offset. Experiments on four diverse, challenging datasets show that VisualSync outperforms baseline methods, achieving an median synchronization error below 50 ms.

시각적 동기화: 교차 시점 객체 운동 기반 다중 카메라 동기화

Visual Sync: Multi-Camera Synchronization via Cross-View Object Motion

초록

Support