RoboVIP: Generazione di Video Multi-Vista con Prompt di Identità Visiva per Potenziare la Manipolazione Robotica
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
Autori: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
Abstract
La diversità, quantità e qualità dei dati di manipolazione sono fattori critici per l'addestramento di politiche robotiche efficaci. Tuttavia, a causa dei vincoli hardware e delle configurazioni fisiche, la raccolta di dati di manipolazione su larga scala nel mondo reale rimane difficile da scalare attraverso ambienti diversi. Recenti lavori utilizzano modelli di diffusione di immagini condizionati da prompt testuali per aumentare i dati di manipolazione alterando gli sfondi e gli oggetti sul piano di lavoro nelle osservazioni visive. Tuttavia, questi approcci spesso trascurano l'esigenza pratica di osservazioni coerenti temporalmente e da più visuali, richieste dai modelli di politica all'avanguardia. Inoltre, i soli prompt testuali non possono specificare in modo affidabile la configurazione della scena. Per fornire al modello di diffusione una guida visiva esplicita, introduciamo il prompting di identità visiva, che fornisce immagini di esempio come input di condizionamento per guidare la generazione della configurazione scenica desiderata. A tal fine, abbiamo anche costruito una pipeline scalabile per curare un pool di identità visive da grandi dataset robotici. L'utilizzo dei nostri dati di manipolazione aumentati per addestrare modelli di politica visione-linguaggio-azione e visuomotori downstream produce guadagni di prestazioni consistenti sia in ambienti simulati che in contesti con robot reali.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.