DeVI: Fysica-gebaseerde behendige mens-objectinteractie via synthetische video-imitat

DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

April 22, 2026

Auteurs: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo

cs.AI

Samenvatting

Recente vooruitgang in videogeneratieve modellen maakt de synthese van realistische mens-objectinteractievideo's mogelijk in een breed scala aan scenario's en objectcategorieën, inclusief complexe behendige manipulaties die moeilijk vast te leggen zijn met motion-capturesystemen. Hoewel de rijke interactiekennis die in deze synthetische video's is ingebed een groot potentieel heeft voor bewegingsplanning bij behendige robotmanipulatie, maken hun beperkte fysieke nauwkeurigheid en puur 2D-karakter het moeilijk om ze direct te gebruiken als imitatiedoelen in op fysica gebaseerde karaktercontrole. Wij presenteren DeVI (Dexterous Video Imitation), een nieuw raamwerk dat gebruikmaakt van tekstgeconditioneerde synthetische video's om fysisch plausibele behendige agentcontrole mogelijk te maken voor interactie met onbekende doelobjecten. Om de onnauwkeurigheid van generatieve 2D-signalen te overwinnen, introduceren we een hybride trackingbeloning die 3D-mensentracking integreert met robuuste 2D-objecttracking. In tegenstelling tot methoden die afhankelijk zijn van hoogwaardige 3D-kinematische demonstraties, vereist DeVI alleen de gegenereerde video, wat zero-shot-generalizatie over diverse objecten en interactietypes mogelijk maakt. Uitgebreide experimenten tonen aan dat DeVI bestaande benaderingen die 3D-mens-objectinteractiedemonstraties imiteren, overtreft, met name in het modelleren van behendige hand-objectinteracties. We valideren verder de effectiviteit van DeVI in multi-objectscènes en tekstgedreven actiediversiteit, wat het voordeel aantoont van het gebruik van video als een HOI-bewuste bewegingsplanner.

English

Recent advances in video generative models enable the synthesis of realistic human-object interaction videos across a wide range of scenarios and object categories, including complex dexterous manipulations that are difficult to capture with motion capture systems. While the rich interaction knowledge embedded in these synthetic videos holds strong potential for motion planning in dexterous robotic manipulation, their limited physical fidelity and purely 2D nature make them difficult to use directly as imitation targets in physics-based character control. We present DeVI (Dexterous Video Imitation), a novel framework that leverages text-conditioned synthetic videos to enable physically plausible dexterous agent control for interacting with unseen target objects. To overcome the imprecision of generative 2D cues, we introduce a hybrid tracking reward that integrates 3D human tracking with robust 2D object tracking. Unlike methods relying on high-quality 3D kinematic demonstrations, DeVI requires only the generated video, enabling zero-shot generalization across diverse objects and interaction types. Extensive experiments demonstrate that DeVI outperforms existing approaches that imitate 3D human-object interaction demonstrations, particularly in modeling dexterous hand-object interactions. We further validate the effectiveness of DeVI in multi-object scenes and text-driven action diversity, showcasing the advantage of using video as an HOI-aware motion planner.