Неожиданная эффективность видео-диффузионных моделей для реконструкции движений руки

Аннотация

4D-реконструкция движения рук из эгоцентрического видео ограничена явными недостатками существующих методов: конвейеры на основе изображений зависят от детектора, который дает сбои при сильной окклюзии, в то время как методы на основе видео полагаются на темпоральные модули, обученные только на скудных аннотациях позы рук — узком сигнале, недостаточном для моделирования динамики движения, анализа окклюзий и взаимодействия руки с объектом. Однако именно эти способности должны неявно приобретать генеративные модели видео при обучении синтезу согласованного видео в интернет-масштабе. Руководствуясь этим, мы представляем ViDiHand, который использует представления предварительно обученной модели диффузии видео для реконструкции 4D-позы обеих рук. Мы адаптируем ее с помощью цели рендеринга наложения рук, которая специализирует признаки для рук, сохраняя при этом мировые априорные знания. Затем декодер восстанавливает позу в метрическом масштабе из адаптированных признаков. Весь конвейер работает непосредственно на полных кадрах — без детектора, без заполнителя и без оптимизации во время тестирования. На наборах данных ARCTIC, HOT3D и HOI4D ViDiHand значительно превосходит предыдущие методы, утверждая модели диффузии видео как мощную новую основу для реконструкции движения рук и многообещающий путь к масштабируемому сбору данных в естественных условиях для воплощенного ИИ. Страница проекта: https://vidihand.github.io.

English

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.