Die überraschende Wirksamkeit von Video-Diffusionsmodellen für die Rekonstruktion von Handbewegungen

Zusammenfassung

Die 4D-Handrekonstruktion aus egozentrischem Video wird durch offensichtliche Einschränkungen bestehender Methoden behindert: bildbasierte Pipelines sind auf einen Detektor angewiesen, der bei starker Verdeckung versagt, während videobasierte Methoden auf zeitliche Module zurückgreifen, die nur mit spärlichen Handposenannotationen trainiert wurden – ein schmales Signal, das nicht ausreicht, um Bewegungsdynamik, Verdeckungslogik und Hand-Objekt-Interaktion zu modellieren. Diese Fähigkeiten sind jedoch genau das, was videogenerative Modelle implizit erwerben müssen, wenn sie darauf trainiert werden, kohärente Videos in Internetgröße zu synthetisieren. Motiviert durch diesen Ansatz stellen wir ViDiHand vor, das die Repräsentationen eines vortrainierten Videodiffusionsmodells nutzt, um 4D-Zwei-Hand-Posen zu rekonstruieren. Wir passen es über ein Hand-Overlay-Renderingziel an, das seine Merkmale auf Hände spezialisiert, während seine Welt-Priors erhalten bleiben. Ein Decoder stellt dann die metrische Posen aus den angepassten Merkmalen wieder her. Die gesamte Pipeline arbeitet direkt auf vollständigen Frames – kein Detektor, kein Ergänzungsmodell und keine Testzeitoptimierung. Auf ARCTIC, HOT3D und HOI4D übertrifft ViDiHand frühere Methoden deutlich und etabliert Videodiffusionsmodelle als leistungsstarke neue Grundlage für die Handbewegungsrekonstruktion und einen vielversprechenden Weg zur skalierbaren Datenerfassung unter realen Bedingungen für verkörperte KI. Projektseite: https://vidihand.github.io.

English

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.