RoboVIP: Geração de Vídeo Multi-View com Prompt de Identidade Visual Aprimora a Manipulação Robótica
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
Autores: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
Resumo
A diversidade, quantidade e qualidade dos dados de manipulação são fundamentais para treinar políticas de robô eficazes. No entanto, devido a limitações de hardware e configuração física, a coleta de dados de manipulação em larga escala no mundo real continua sendo difícil de dimensionar em ambientes diversos. Trabalhos recentes utilizam modelos de difusão de imagem condicionados por texto para aumentar dados de manipulação, alterando os planos de fundo e os objetos sobre a mesa nas observações visuais. No entanto, essas abordagens frequentemente ignoram a necessidade prática de observações coerentes temporalmente e de múltiplas visões, exigidas pelos modelos de política de última geração. Além disso, apenas prompts de texto não podem especificar de forma confiável a configuração da cena. Para fornecer ao modelo de difusão uma orientação visual explícita, introduzimos o *prompting* de identidade visual, que fornece imagens exemplares como entradas de condicionamento para orientar a geração da configuração de cena desejada. Para isso, também construímos um *pipeline* escalável para criar um banco de identidades visuais a partir de grandes conjuntos de dados de robótica. A utilização dos nossos dados de manipulação aumentados para treinar modelos subsequentes de política visão-linguagem-ação e visuomotora resulta em ganhos de desempenho consistentes, tanto em ambientes de simulação quanto em configurações com robôs reais.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.