DeVI: Physikbasierte geschickte Mensch-Objekt-Interaktion durch Imitation synthetischer Videos

DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

April 22, 2026

Autoren: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo

cs.AI

Zusammenfassung

Jüngste Fortschritte bei videogenerativen Modellen ermöglichen die Synthese realistischer Mensch-Objekt-Interaktionsvideos in einer Vielzahl von Szenarien und Objektkategorien, einschließlich komplexer geschickter Manipulationen, die mit Motion-Capture-Systemen nur schwer zu erfassen sind. Obwohl das in diesen synthetischen Videos enthaltene umfangreiche Interaktionswissen ein großes Potenzial für die Bewegungsplanung bei geschickten robotischen Manipulationen birgt, erschweren ihre begrenzte physikalische Treue und rein 2D-Natur eine direkte Nutzung als Imitationsziele in der physikalisch basierten Charaktersteuerung. Wir stellen DeVI (Dexterous Video Imitation) vor, einen neuartigen Rahmen, der textkonditionierte synthetische Videos nutzt, um physikalisch plausible Steuerung geschickter Agenten für die Interaktion mit unbekannten Zielobjekten zu ermöglichen. Um die Ungenauigkeit generativer 2D-Hinweise zu überwinden, führen wir eine hybride Tracking-Belohnung ein, die 3D-Mensch-Tracking mit robustem 2D-Objekt-Tracking kombiniert. Im Gegensatz zu Methoden, die auf hochwertigen 3D-kinematischen Demonstrationen basieren, benötigt DeVI nur das generierte Video und ermöglicht so Null-Shot-Verallgemeinerung über verschiedene Objekte und Interaktionstypen hinweg. Umfangreiche Experimente zeigen, dass DeVI bestehende Ansätze, die 3D-Mensch-Objekt-Interaktionsdemonstrationen imitieren, übertrifft, insbesondere bei der Modellierung geschickter Hand-Objekt-Interaktionen. Wir validieren weiterhin die Wirksamkeit von DeVI in Multi-Objekt-Szenen und textgesteuerter Aktionsvielfalt, was den Vorteil der Verwendung von Video als HOI-bewussten Bewegungsplaner verdeutlicht.

English

Recent advances in video generative models enable the synthesis of realistic human-object interaction videos across a wide range of scenarios and object categories, including complex dexterous manipulations that are difficult to capture with motion capture systems. While the rich interaction knowledge embedded in these synthetic videos holds strong potential for motion planning in dexterous robotic manipulation, their limited physical fidelity and purely 2D nature make them difficult to use directly as imitation targets in physics-based character control. We present DeVI (Dexterous Video Imitation), a novel framework that leverages text-conditioned synthetic videos to enable physically plausible dexterous agent control for interacting with unseen target objects. To overcome the imprecision of generative 2D cues, we introduce a hybrid tracking reward that integrates 3D human tracking with robust 2D object tracking. Unlike methods relying on high-quality 3D kinematic demonstrations, DeVI requires only the generated video, enabling zero-shot generalization across diverse objects and interaction types. Extensive experiments demonstrate that DeVI outperforms existing approaches that imitate 3D human-object interaction demonstrations, particularly in modeling dexterous hand-object interactions. We further validate the effectiveness of DeVI in multi-object scenes and text-driven action diversity, showcasing the advantage of using video as an HOI-aware motion planner.