Evaluación de las Políticas de Robótica Gemini en un Simulador de Mundo Veo

Resumen

Los modelos generativos de mundos poseen un potencial significativo para simular interacciones con políticas visuomotoras en entornos variados. Los modelos de video de vanguardia pueden permitir la generación de observaciones e interacciones con el entorno de manera escalable y general. Sin embargo, el uso de modelos de video en robótica se ha limitado principalmente a evaluaciones dentro de la distribución, es decir, escenarios similares a los utilizados para entrenar la política o ajustar el modelo de video base. En este informe, demostramos que los modelos de video pueden utilizarse para todo el espectro de casos de uso de evaluación de políticas en robótica: desde la evaluación del rendimiento nominal hasta la generalización fuera de la distribución (OOD, por sus siglas en inglés), y el análisis de la seguridad física y semántica. Introducimos un sistema de evaluación generativo basado en un modelo fundacional de video de vanguardia (Veo). El sistema está optimizado para soportar el condicionamiento por acciones robóticas y la consistencia multi-vista, integrando al mismo tiempo la edición generativa de imágenes y la completación multi-vista para sintetizar variaciones realistas de escenas del mundo real a lo largo de múltiples ejes de generalización. Demostramos que el sistema preserva las capacidades base del modelo de video para permitir una simulación precisa de escenas que han sido editadas para incluir objetos de interacción novedosos, fondos visuales novedosos y objetos de distracción novedosos. Esta fidelidad permite predecir con precisión el rendimiento relativo de diferentes políticas tanto en condiciones nominales como OOD, determinar el impacto relativo de diferentes ejes de generalización en el rendimiento de la política, y realizar pruebas de penetración (red teaming) de políticas para exponer comportamientos que violan restricciones de seguridad física o semántica. Validamos estas capacidades mediante más de 1600 evaluaciones en el mundo real de ocho puntos de control de políticas de Gemini Robotics y cinco tareas para un manipulador bimanual.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Evaluación de las Políticas de Robótica Gemini en un Simulador de Mundo Veo

Evaluating Gemini Robotics Policies in a Veo World Simulator

Resumen

Support