RoboVIP: Multiview-Videogenerierung mit visueller Identitätsaufforderung erweitert die Roboter-Manipulation
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
January 8, 2026
papers.authors: Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang
cs.AI
papers.abstract
Die Vielfalt, Menge und Qualität von Manipulationsdaten sind entscheidend für das Training effektiver Roboterpolitiken. Aufgrund von Hardware- und physikalischen Aufbaubeschränkungen bleibt die Erfassung groß angelegter realer Manipulationsdaten jedoch schwierig skalierbar über verschiedene Umgebungen hinweg. Neuere Arbeiten nutzen textgesteuerte Bilddiffusionsmodelle, um Manipulationsdaten durch Veränderung der Hintergründe und Tischobjekte in den visuellen Beobachtungen zu erweitern. Diese Ansätze übersehen jedoch oft den praktischen Bedarf an multivisuellen und zeitlich kohärenten Beobachtungen, die von modernsten Politkmodellen benötigt werden. Darüber hinaus können Textprompts allein die Szeneneinrichtung nicht zuverlässig spezifizieren. Um dem Diffusionsmodell eine explizite visuelle Führung zu bieten, führen wir visuelle Identitätsprompts ein, die Beispielbilder als Konditionierungseingaben bereitstellen, um die Generierung der gewünschten Szeneneinrichtung zu steuern. Zu diesem Zweck bauen wir auch eine skalierbare Pipeline auf, um einen Pool visueller Identitäten aus großen Robotikdatensätzen zu kuratieren. Die Verwendung unserer erweiterten Manipulationsdaten zum Training nachgelagerter Vision-Language-Action- und Visuomotorik-Politikmodelle führt sowohl in Simulationen als auch in realen Robotikumgebungen zu konsistenten Leistungsverbesserungen.
English
The diversity, quantity, and quality of manipulation data are critical for training effective robot policies. However, due to hardware and physical setup constraints, collecting large-scale real-world manipulation data remains difficult to scale across diverse environments. Recent work uses text-prompt conditioned image diffusion models to augment manipulation data by altering the backgrounds and tabletop objects in the visual observations. However, these approaches often overlook the practical need for multi-view and temporally coherent observations required by state-of-the-art policy models. Further, text prompts alone cannot reliably specify the scene setup. To provide the diffusion model with explicit visual guidance, we introduce visual identity prompting, which supplies exemplar images as conditioning inputs to guide the generation of the desired scene setup. To this end, we also build a scalable pipeline to curate a visual identity pool from large robotics datasets. Using our augmented manipulation data to train downstream vision-language-action and visuomotor policy models yields consistent performance gains in both simulation and real-robot settings.