H2R-Grounder: Ein paarungsdatenfreies Paradigma zur Übersetzung von menschlichen Interaktionsvideos in physikalisch fundierte Roboter-Videos
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
December 10, 2025
papers.authors: Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou
cs.AI
papers.abstract
Roboter, die Manipulationsfähigkeiten aus alltäglichen menschlichen Videos erlernen, könnten umfangreiche Fähigkeiten erwerben, ohne aufwändige Roboterdatenerfassung. Wir schlagen ein Video-zu-Video-Übersetzungsframework vor, das gewöhnliche Mensch-Objekt-Interaktionsvideos in bewegungskonsistente Robotermanipulationsvideos mit realistischen, physikalisch fundierten Interaktionen umwandelt. Unser Ansatz benötigt für das Training keine gepaarten Mensch-Roboter-Videos, sondern lediglich einen Satz ungepaarter Roboter-Videos, was die Skalierbarkeit des Systems erleichtert. Wir führen eine übertragbare Repräsentation ein, die die Embodiment-Lücke überbrückt: Durch Inpainting des Roboterarms in Trainingsvideos, um einen sauberen Hintergrund zu erhalten, und Überlagerung eines einfachen visuellen Hinweises (ein Marker und ein Pfeil, die Position und Orientierung des Greifers anzeigen), können wir ein generatives Modell konditionieren, den Roboterarm wieder in die Szene einzufügen. Zur Testzeit wenden wir denselben Prozess auf menschliche Videos an (Inpainting der Person und Überlagerung menschlicher Pose-Hinweise) und generieren hochwertige Roboter-Videos, die die Handlungen des Menschen nachahmen. Wir feintunen ein State-of-the-Art-Videodiffusionsmodell (Wan 2.2) auf eine In-Context-Learning-Weise, um zeitliche Kohärenz zu gewährleisten und sein umfangreiches Vorwissen zu nutzen. Empirische Ergebnisse zeigen, dass unser Ansatz im Vergleich zu Baseline-Methoden deutlich realistischere und fundiertere Roboterbewegungen erzielt und damit eine vielversprechende Richtung für die Skalierung des Roboterlernens aus ungelabelten menschlichen Videos aufzeigt. Projektseite: https://showlab.github.io/H2R-Grounder/
English
Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/