L'efficacité surprenante des modèles de diffusion vidéo pour la reconstruction du mouvement de la main

Résumé

La reconstruction 4D du mouvement des mains à partir de vidéo égocentrique est entravée par les limitations évidentes des méthodes existantes : les pipelines basés sur l'image dépendent d'un détecteur qui échoue en cas d'occlusion importante, tandis que les méthodes basées sur la vidéo reposent sur des modules temporels appris uniquement à partir d'annotations rares de poses de mains, un signal étroit insuffisant pour modéliser la dynamique du mouvement, le raisonnement sur l'occlusion et l'interaction main-objet. Ces capacités sont pourtant exactement ce que les modèles génératifs vidéo doivent acquérir implicitement lorsqu'ils sont entraînés à synthétiser des vidéos cohérentes à l'échelle d'Internet. Motivés par ce constat, nous présentons ViDiHand, qui tire parti des représentations d'un modèle de diffusion vidéo pré-entraîné pour reconstruire la pose 4D des deux mains. Nous l'adaptons via un objectif de rendu de superposition de mains qui spécialise ses caractéristiques pour les mains tout en préservant ses a priori du monde. Un décodeur récupère ensuite la pose à l'échelle métrique à partir des caractéristiques adaptées. L'ensemble du pipeline opère directement sur les images complètes — pas de détecteur, pas de module de remplissage, et pas d'optimisation au moment du test. Sur ARCTIC, HOT3D et HOI4D, ViDiHand surpasse considérablement les méthodes antérieures, établissant les modèles de diffusion vidéo comme une nouvelle base puissante pour la reconstruction du mouvement des mains et une voie prometteuse vers une collecte de données évolutive en milieu naturel pour l'IA incarnée. Page du projet : https://vidihand.github.io.

English

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.