손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과

초록

에고센트릭 비디오로부터의 4D 손 움직임 복원은 기존 방법의 명확한 한계로 인해 병목 현상을 겪고 있다: 이미지 기반 파이프라인은 심한 폐색 하에서 실패하는 검출기에 의존하는 반면, 비디오 기반 방법은 희소한 손 포즈 주석에서만 학습된 시간적 모듈에 의존하며, 이는 움직임 역학, 폐색 추론, 손-물체 상호작용을 모델링하기에는 불충분한 좁은 신호이다. 그러나 이러한 능력들은 정확히 비디오 생성 모델이 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 암묵적으로 습득해야 하는 것들이다. 이에 착안하여, 우리는 사전 학습된 비디오 확산 모델의 표현을 활용하여 4D 양손 포즈를 복원하는 ViDiHand를 제시한다. 우리는 손 오버레이 렌더링 목표를 통해 이를 적응시켜, 세계 사전 지식을 유지하면서 손에 특화된 특징을 만든다. 그 후 디코더가 적응된 특징으로부터 미터법 스케일 포즈를 복원한다. 전체 파이프라인은 전체 프레임에 대해 직접 작동하며, 검출기, 보간기, 테스트 시 최적화가 필요하지 않다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 이전 방법들을 크게 능가하며, 비디오 확산 모델이 손 움직임 복원을 위한 강력한 새로운 기반이자 체화된 AI를 위한 확장 가능한 실제 환경 데이터 수집의 유망한 경로임을 확립한다. 프로젝트 페이지: https://vidihand.github.io.

English

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.