La sorprendente efectividad de los modelos de difusión de video para la reconstrucción del movimiento de la mano

Resumen

La reconstrucción del movimiento 4D de las manos a partir de video egocéntrico se ve limitada por claras limitaciones de los métodos existentes: los pipelines basados en imágenes dependen de un detector que falla bajo ocultación severa, mientras que los métodos basados en video se apoyan en módulos temporales aprendidos únicamente a partir de escasas anotaciones de pose de mano, una señal limitada insuficiente para modelar la dinámica del movimiento, el razonamiento de ocultación y la interacción mano-objeto. Sin embargo, estas capacidades son precisamente las que los modelos generativos de video deben adquirir implícitamente al ser entrenados para sintetizar video coherente a escala de internet. Motivados por esto, presentamos ViDiHand, que aprovecha las representaciones de un modelo de difusión de video preentrenado para reconstruir la pose 4D de dos manos. Lo adaptamos mediante un objetivo de renderizado de superposición de manos que especializa sus características para las manos, preservando al mismo tiempo sus prioridades del mundo. Un decodificador recupera entonces la pose a escala métrica a partir de las características adaptadas. Todo el pipeline opera directamente sobre fotogramas completos (sin detector, sin completador ni optimización en tiempo de prueba). En ARCTIC, HOT3D y HOI4D, ViDiHand supera sustancialmente a los métodos anteriores, estableciendo los modelos de difusión de video como una nueva base poderosa para la reconstrucción del movimiento de las manos y una vía prometedora para la recopilación de datos escalable en entornos reales para la IA corporal. Página del proyecto: https://vidihand.github.io.

English

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.