DeVI: Физически обоснованное ловкое взаимодействие человека с объектами посредством имитации синтетического видео

DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

April 22, 2026

Авторы: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo

cs.AI

Аннотация

Последние достижения в области генеративных моделей для видео позволяют синтезировать реалистичные видеоролики взаимодействия человека с объектами в широком спектре сценариев и категорий объектов, включая сложные манипуляции, которые трудно захватить с помощью систем motion capture. Хотя богатые знания о взаимодействии, заложенные в этих синтетических видео, обладают большим потенциалом для планирования движений в области манипуляций роботов, их ограниченная физическая достоверность и чисто двумерная природа затрудняют их непосредственное использование в качестве целей для имитации в системах управления, основанных на физике. Мы представляем DeVI (Dexterous Video Imitation) — новую архитектуру, которая использует синтетические видео с текстовыми условиями для обеспечения физически правдоподобного управления ловким агентом при взаимодействии с ранее не встречавшимися целевыми объектами. Чтобы преодолеть неточность генеративных 2D-подсказок, мы вводим гибридный reward отслеживания, который объединяет 3D-трекинг человека с надежным 2D-трекингом объекта. В отличие от методов, опирающихся на высококачественные 3D кинематические демонстрации, DeVI требует только сгенерированного видео, что обеспечивает обобщение zero-shot для разнообразных объектов и типов взаимодействий. Многочисленные эксперименты демонстрируют, что DeVI превосходит существующие подходы, имитирующие 3D-демонстрации взаимодействия человека с объектом, особенно в моделировании ловкого взаимодействия кисти руки и объекта. Мы также подтверждаем эффективность DeVI в сценах с несколькими объектами и при текстовом управлении разнообразием действий, демонстрируя преимущество использования видео в качестве HOI-ориентированного планировщика движений.

English

Recent advances in video generative models enable the synthesis of realistic human-object interaction videos across a wide range of scenarios and object categories, including complex dexterous manipulations that are difficult to capture with motion capture systems. While the rich interaction knowledge embedded in these synthetic videos holds strong potential for motion planning in dexterous robotic manipulation, their limited physical fidelity and purely 2D nature make them difficult to use directly as imitation targets in physics-based character control. We present DeVI (Dexterous Video Imitation), a novel framework that leverages text-conditioned synthetic videos to enable physically plausible dexterous agent control for interacting with unseen target objects. To overcome the imprecision of generative 2D cues, we introduce a hybrid tracking reward that integrates 3D human tracking with robust 2D object tracking. Unlike methods relying on high-quality 3D kinematic demonstrations, DeVI requires only the generated video, enabling zero-shot generalization across diverse objects and interaction types. Extensive experiments demonstrate that DeVI outperforms existing approaches that imitate 3D human-object interaction demonstrations, particularly in modeling dexterous hand-object interactions. We further validate the effectiveness of DeVI in multi-object scenes and text-driven action diversity, showcasing the advantage of using video as an HOI-aware motion planner.