RoboVIP: Multi-View Video-generatie met Visuele Identiteit als Aanwijzing Verbetert Robotmanipulatie
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
Auteurs: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
Samenvatting
De diversiteit, hoeveelheid en kwaliteit van manipulatiedata zijn cruciaal voor het trainen van effectieve robotbeleidsmodellen. Vanwege hardware- en fysieke opstellingbeperkingen blijft het echter moeilijk om grootschalige real-world manipulatiedata te verzamelen in diverse omgevingen. Recent onderzoek gebruikt tekstprompt-geconditioneerde beelddiffusiemodellen om manipulatiedata aan te vullen door de achtergronden en objecten op het werkoppervlak in visuele observaties aan te passen. Deze methoden houden echter vaak geen rekening met de praktische behoefte aan multi-view en temporeel coherente observaties die vereist zijn door state-of-the-art beleidsmodellen. Bovendien kunnen tekstprompts alleen niet betrouwbaar de scène-opstelling specificeren. Om het diffusiemodel expliciete visuele begeleiding te bieden, introduceren we visuele identiteitsprompting, waarbij voorbeeldbeelden als conditioneringsinput worden gebruikt om de gewenste scène-opstelling te sturen. Hiertoe bouwen we ook een schaalbare pijplijn om een visuele identiteitspool uit grote roboticadatasets samen te stellen. Het gebruik van onze aangevulde manipulatiedata voor het trainen van downstream visie-taal-actie- en visuomotorische beleidsmodellen levert consistente prestatieverbeteringen op in zowel simulatie- als real-world robotomgevingen.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.