H2R-Grounder: Een paradigma zonder gepaarde gegevens voor het vertalen van menselijke interactievideo's naar fysiek gegronde robotvideo's
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
December 10, 2025
Auteurs: Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou
cs.AI
Samenvatting
Robots die manipulatievaardigheden leren uit alledaagse menselijke video's kunnen brede capaciteiten verwerven zonder tijdrovende robotdatacollectie. Wij stellen een video-naar-video vertaalraamwerk voor dat gewone video's van mens-objectinteracties omzet in bewegingconsistente robotmanipulatievideo's met realistische, fysiek onderbouwde interacties. Onze aanpak vereist geen gepaarde mens-robotvideo's voor training, alleen een set ongepaarde robotvideo's, waardoor het systeem eenvoudig schaalbaar is. Wij introduceren een overdraagbare representatie die de embodimentkloof overbrugt: door de robotarm in trainingsvideo's in te vullen om een schone achtergrond te verkrijgen en een eenvoudig visueel signaal te overlayen (een marker en pijl die de positie en oriëntatie van de grijper aangeven), kunnen we een generatief model conditioneren om de robotarm terug in de scène te plaatsen. Tijdens de testfase passen we hetzelfde proces toe op menselijke video's (invullen van de persoon en overlayen van menselijke pose-signalen) en genereren we hoogwaardige robotvideo's die de handelingen van de mens nabootsen. Wij fine-tunen een state-of-the-art videodiffusiemodel (Wan 2.2) op een in-context learning-manier om temporele coherentie te garanderen en gebruik te maken van zijn rijke voorkennis. Empirische resultaten tonen aan dat onze aanpak significant realistischere en beter onderbouwde robotbewegingen bereikt in vergelijking met baseline-methoden, wat wijst op een veelbelovende richting voor het opschalen van robotleren vanuit ongelabelde menselijke video's. Projectpagina: https://showlab.github.io/H2R-Grounder/
English
Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/