DeVI: Interacción diestra humana-objeto basada en física mediante imitación de video sintético

DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

April 22, 2026

Autores: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo

cs.AI

Resumen

Los recientes avances en modelos generativos de vídeo permiten sintetizar vídeos realistas de interacciones humano-objeto en una amplia gama de escenarios y categorías de objetos, incluidas manipulaciones diestras complejas que son difíciles de capturar con sistemas de captura de movimiento. Si bien el rico conocimiento de interacción incorporado en estos vídeos sintéticos tiene un gran potencial para la planificación de movimientos en la manipulación robótica diestra, su limitada fidelidad física y naturaleza puramente 2D dificultan su uso directo como objetivos de imitación en el control de personajes basado en física. Presentamos DeVI (Dexterous Video Imitation), un marco novedoso que aprovecha los vídeos sintéticos condicionados por texto para permitir un control físicamente plausible de agentes diestros que interactúan con objetos objetivo no vistos. Para superar la imprecisión de las señales generativas 2D, introducimos una recompensa de seguimiento híbrida que integra el seguimiento humano 3D con un seguimiento robusto de objetos 2D. A diferencia de los métodos que dependen de demostraciones cinemáticas 3D de alta calidad, DeVI solo requiere el vídeo generado, permitiendo una generalización zero-shot en diversos objetos y tipos de interacción. Experimentos exhaustivos demuestran que DeVI supera a los enfoques existentes que imitan demostraciones de interacción humano-objeto 3D, particularmente en el modelado de interacciones diestras mano-objeto. Validamos además la efectividad de DeVI en escenas multi-objeto y en la diversidad de acciones impulsadas por texto, mostrando la ventaja de usar el vídeo como un planificador de movimiento consciente de la interacción humano-objeto (HOI).

English

Recent advances in video generative models enable the synthesis of realistic human-object interaction videos across a wide range of scenarios and object categories, including complex dexterous manipulations that are difficult to capture with motion capture systems. While the rich interaction knowledge embedded in these synthetic videos holds strong potential for motion planning in dexterous robotic manipulation, their limited physical fidelity and purely 2D nature make them difficult to use directly as imitation targets in physics-based character control. We present DeVI (Dexterous Video Imitation), a novel framework that leverages text-conditioned synthetic videos to enable physically plausible dexterous agent control for interacting with unseen target objects. To overcome the imprecision of generative 2D cues, we introduce a hybrid tracking reward that integrates 3D human tracking with robust 2D object tracking. Unlike methods relying on high-quality 3D kinematic demonstrations, DeVI requires only the generated video, enabling zero-shot generalization across diverse objects and interaction types. Extensive experiments demonstrate that DeVI outperforms existing approaches that imitate 3D human-object interaction demonstrations, particularly in modeling dexterous hand-object interactions. We further validate the effectiveness of DeVI in multi-object scenes and text-driven action diversity, showcasing the advantage of using video as an HOI-aware motion planner.