H2R-Grounder: Парадигма перевода видео взаимодействия человека в физически обоснованные видео робота без использования парных данных
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
December 10, 2025
Авторы: Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou
cs.AI
Аннотация
Роботы, обучающиеся манипуляционным навыкам на основе обычных человеческих видео, могли бы приобретать широкие возможности без трудоёмкого сбора роботизированных данных. Мы предлагаем фреймворк преобразования "видео-в-видео", который трансформирует обычные видео взаимодействия человека с объектами в видео манипуляций робота с сохранением последовательности движений и реалистичными, физически обоснованными взаимодействиями. Наш подход не требует парных видео "человек-робот" для обучения, а лишь набор непарных роботизированных видео, что упрощает масштабирование системы. Мы вводим переносимую репрезентацию, преодолевающую разрыв в воплощении: за счёт восстановления фона на тренировочных видео с удалением роботизированной руки для получения чистого фона и наложения простого визуального маркера (указателя со стрелкой, обозначающего позицию и ориентацию захвата), мы можем настроить генеративную модель для обратного встраивания роботизированной руки в сцену. На этапе тестирования мы применяем тот же процесс к человеческим видео (восстанавливая фон с удалением человека и накладывая маркеры позы человека) и генерируем высококачественные роботизированные видео, имитирующие действия человека. Мы дообучаем современную диффузионную модель для видео (Wan 2.2) в манере контекстного обучения для обеспечения временной согласованности и использования её богатых априорных знаний. Экспериментальные результаты демонстрируют, что наш подход позволяет достичь значительно более реалистичных и физически обоснованных движений робота по сравнению с базовыми методами, указывая перспективное направление для масштабирования обучения роботов на основе размеченных человеческих видео. Страница проекта: https://showlab.github.io/H2R-Grounder/
English
Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/