DeVI : Interaction physique dextre humain-objet par imitation vidéo synthétique

DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

April 22, 2026

Auteurs: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo

cs.AI

Résumé

Les récentes avancées dans les modèles génératifs vidéo permettent la synthèse de vidéos réalistes d'interactions humain-objet couvrant un large éventail de scénarios et de catégories d'objets, y compris des manipulations manuelles complexes difficiles à capturer avec des systèmes de capture de mouvement. Bien que les connaissances riches en interactions intégrées dans ces vidéos synthétiques présentent un fort potentiel pour la planification motrice dans la manipulation robotique habile, leur fidélité physique limitée et leur nature purement 2D les rendent difficiles à utiliser directement comme cibles d'imitation dans le contrôle de personnages basé sur la physique. Nous présentons DeVI (Dexterous Video Imitation), un nouveau cadre qui exploite des vidéos synthétiques conditionnées par texte pour permettre un contrôle physique plausible d'agents habiles interagissant avec des objets cibles inconnus. Pour surmonter l'imprécision des indices génératifs 2D, nous introduisons une récompense de suivi hybride qui intègre un suivi humain 3D avec un suivi robuste d'objets 2D. Contrairement aux méthodes reposant sur des démonstrations cinématiques 3D de haute qualité, DeVI ne nécessite que la vidéo générée, permettant une généralisation zero-shot sur divers objets et types d'interaction. Des expériences approfondies démontrent que DeVI surpasse les approches existantes qui imitent des démonstrations 3D d'interaction humain-objet, particulièrement dans la modélisation d'interactions main-objet habiles. Nous validons en outre l'efficacité de DeVI dans des scènes multi-objets et la diversité d'actions pilotée par texte, mettant en avant l'avantage d'utiliser la vidéo comme planificateur de mouvement conscient des interactions humain-objet.

English

Recent advances in video generative models enable the synthesis of realistic human-object interaction videos across a wide range of scenarios and object categories, including complex dexterous manipulations that are difficult to capture with motion capture systems. While the rich interaction knowledge embedded in these synthetic videos holds strong potential for motion planning in dexterous robotic manipulation, their limited physical fidelity and purely 2D nature make them difficult to use directly as imitation targets in physics-based character control. We present DeVI (Dexterous Video Imitation), a novel framework that leverages text-conditioned synthetic videos to enable physically plausible dexterous agent control for interacting with unseen target objects. To overcome the imprecision of generative 2D cues, we introduce a hybrid tracking reward that integrates 3D human tracking with robust 2D object tracking. Unlike methods relying on high-quality 3D kinematic demonstrations, DeVI requires only the generated video, enabling zero-shot generalization across diverse objects and interaction types. Extensive experiments demonstrate that DeVI outperforms existing approaches that imitate 3D human-object interaction demonstrations, particularly in modeling dexterous hand-object interactions. We further validate the effectiveness of DeVI in multi-object scenes and text-driven action diversity, showcasing the advantage of using video as an HOI-aware motion planner.