Évaluation des politiques robotiques Gemini dans un simulateur de monde Veo

papers.abstract

Les modèles génératifs de monde présentent un potentiel significatif pour simuler des interactions avec des politiques visuomotrices dans des environnements variés. Les modèles vidéo de pointe peuvent permettre la génération d'observations réalistes et d'interactions avec l'environnement de manière scalable et générale. Cependant, l'utilisation des modèles vidéo en robotique a été principalement limitée à des évaluations en distribution, c'est-à-dire des scénarios similaires à ceux utilisés pour entraîner la politique ou affiner le modèle vidéo de base. Dans ce rapport, nous démontrons que les modèles vidéo peuvent être utilisés pour l'ensemble du spectre des cas d'usage d'évaluation de politiques en robotique : de l'évaluation des performances nominales à la généralisation hors distribution (OOD), et à l'analyse de la sécurité physique et sémantique. Nous présentons un système d'évaluation génératif construit sur un modèle de fondation vidéo de pointe (Veo). Le système est optimisé pour supporter le conditionnement par les actions robotiques et la cohérence multi-vues, tout en intégrant la retouche d'image générative et la complétion multi-vues pour synthétiser des variations réalistes de scènes du monde réel le long de multiples axes de généralisation. Nous démontrons que le système préserve les capacités de base du modèle vidéo pour permettre une simulation précise de scènes qui ont été modifiées pour inclure de nouveaux objets d'interaction, de nouveaux arrière-plans visuels et de nouveaux objets distracteurs. Cette fidélité permet de prédire avec précision les performances relatives de différentes politiques dans des conditions nominales et OOD, de déterminer l'impact relatif des différents axes de généralisation sur les performances des politiques, et de réaliser du *red teaming* des politiques pour exposer des comportements qui violent les contraintes de sécurité physique ou sémantique. Nous validons ces capacités par plus de 1600 évaluations en monde réel de huit points de contrôle de politiques Gemini Robotics et cinq tâches pour un manipulateur bimanuel.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Évaluation des politiques robotiques Gemini dans un simulateur de monde Veo

Evaluating Gemini Robotics Policies in a Veo World Simulator

papers.abstract

Support