Valutazione delle Politiche di Gemini Robotics in un Simulatore Veo World

Abstract

I modelli generativi di mondi possiedono un potenziale significativo per simulare interazioni con politiche visuomotorie in ambienti variati. I modelli video all'avanguardia possono abilitare la generazione di osservazioni realistiche e interazioni ambientali in modo scalabile e generale. Tuttavia, l'uso dei modelli video in robotica è stato limitato principalmente a valutazioni *in-distribution*, ovvero scenari simili a quelli utilizzati per addestrare la politica o per effettuare il fine-tuning del modello video base. In questo rapporto, dimostriamo che i modelli video possono essere utilizzati per l'intero spettro dei casi d'uso della valutazione delle politiche in robotica: dalla valutazione delle prestazioni nominali alla generalizzazione *out-of-distribution* (OOD), fino all'analisi della sicurezza fisica e semantica. Introduciamo un sistema di valutazione generativo basato su un modello fondante video di frontiera (Veo). Il sistema è ottimizzato per supportare il condizionamento delle azioni robotiche e la coerenza multi-vista, integrando al contempo l'editing generativo di immagini e il completamento multi-vista per sintetizzare variazioni realistiche di scene del mondo reale lungo molteplici assi di generalizzazione. Dimostriamo che il sistema preserva le capacità di base del modello video, consentendo una simulazione accurata di scene che sono state modificate per includere oggetti di interazione nuovi, sfondi visivi nuovi e oggetti distraenti nuovi. Questa fedeltà permette di prevedere con precisione le prestazioni relative di diverse politiche sia in condizioni nominali che OOD, determinare l'impatto relativo dei diversi assi di generalizzazione sulle prestazioni della politica ed eseguire il *red teaming* delle politiche per esporre comportamenti che violano i vincoli di sicurezza fisica o semantica. Convalidiamo queste capacità attraverso oltre 1600 valutazioni nel mondo reale di otto checkpoint di politiche di Gemini Robotics e cinque compiti per un manipolatore bimanuale.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Valutazione delle Politiche di Gemini Robotics in un Simulatore Veo World

Evaluating Gemini Robotics Policies in a Veo World Simulator

Abstract

Support