RoboVIP : Génération de vidéos multi-vues avec amorçage d'identité visuelle pour améliorer la manipulation robotique
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
papers.authors: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
papers.abstract
La diversité, la quantité et la qualité des données de manipulation sont essentielles pour entraîner des politiques robotiques efficaces. Cependant, en raison des contraintes matérielles et des configurations physiques, la collecte de données de manipulation à grande échelle dans le monde réel reste difficile à généraliser à travers des environnements diversifiés. Des travaux récents utilisent des modèles de diffusion d'images conditionnés par des invites textuelles pour augmenter les données de manipulation en modifiant les arrière-plans et les objets sur la table dans les observations visuelles. Cependant, ces approches négligent souvent le besoin pratique d'observations multi-vues et temporellement cohérentes requises par les modèles de politiques état-de-l'art. De plus, les invites textuelles seules ne peuvent pas spécifier de manière fiable la configuration de la scène. Pour fournir au modèle de diffusion un guidage visuel explicite, nous introduisons l'invite d'identité visuelle, qui fournit des images exemplaires comme entrées de conditionnement pour guider la génération de la configuration de scène souhaitée. À cette fin, nous construisons également un pipeline évolutif pour constituer un pool d'identités visuelles à partir de grands ensembles de données robotiques. L'utilisation de nos données de manipulation augmentées pour entraîner des modèles de politiques vision-langage-action et visuomoteurs en aval entraîne des gains de performance constants à la fois en simulation et dans des configurations robotiques réelles.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.