RoboVIP: La generación de vídeo multivista con indicación de identidad visual aumenta la manipulación robótica
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
Autores: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
Resumen
La diversidad, cantidad y calidad de los datos de manipulación son cruciales para entrenar políticas robóticas efectivas. Sin embargo, debido a las limitaciones del hardware y la configuración física, la recolección de datos de manipulación a gran escala en entornos del mundo real sigue siendo difícil de escalar en diversos entornos. Trabajos recientes utilizan modelos de difusión de imágenes condicionados por texto para aumentar los datos de manipulación alterando los fondos y los objetos sobre superficies en las observaciones visuales. No obstante, estos enfoques a menudo pasan por alto la necesidad práctica de observaciones coherentes temporalmente y desde múltiples vistas, requeridas por los modelos de políticas más avanzados. Además, los prompts de texto por sí solos no pueden especificar de manera confiable la configuración de la escena. Para proporcionar al modelo de difusión una guía visual explícita, introducimos el "visual identity prompting", que suministra imágenes ejemplares como entradas de condicionamiento para guiar la generación de la configuración de escena deseada. Con este fin, también construimos un pipeline escalable para curar un banco de identidades visuales a partir de grandes conjuntos de datos robóticos. Utilizar nuestros datos de manipulación aumentados para entrenar modelos de políticas visión-lenguaje-acción y visuomotores genera mejoras de rendimiento consistentes tanto en entornos de simulación como en configuraciones con robots reales.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.