Evaluatie van Gemini Robotics-beleid in een Veo World Simulator

Samenvatting

Generatieve wereldmodellen hebben een aanzienlijk potentieel voor het simuleren van interacties met visuomotore beleidsregels in uiteenlopende omgevingen. Frontier videomodellen kunnen het op een schaalbare en algemene manier mogelijk maken om realistische observaties en omgevingsinteracties te genereren. Het gebruik van videomodellen in de robotica is echter voornamelijk beperkt gebleven tot in-distributie-evaluaties, d.w.z. scenario's die vergelijkbaar zijn met die gebruikt voor het trainen van het beleid of het finetunen van het basisvideomodel. In dit rapport tonen we aan dat videomodellen kunnen worden gebruikt voor het volledige spectrum van beleidsevaluatietoepassingen in de robotica: van het beoordelen van de nominale prestaties tot out-of-distribution (OOD)-generalizatie, en het testen van fysieke en semantische veiligheid. We introduceren een generatief evaluatiesysteem gebouwd op een frontier videofoundationmodel (Veo). Het systeem is geoptimaliseerd om robotactieconditionering en multi-viewconsistentie te ondersteunen, terwijl het generatieve beeldbewerking en multi-viewcompletie integreert om realistische variaties van real-world scènes te synthetiseren langs meerdere generalisatie-assen. We demonstreren dat het systeem de basiscapaciteiten van het videomodel behoudt om nauwkeurige simulatie van scènes mogelijk te maken die zijn bewerkt om nieuwe interactieobjecten, nieuwe visuele achtergronden en nieuwe afleidingsobjecten te bevatten. Deze nauwkeurigheid maakt het mogelijk om de relatieve prestaties van verschillende beleidsregels in zowel nominale als OOD-omstandigheden nauwkeurig te voorspellen, de relatieve impact van verschillende generalisatie-assen op de beleidsprestaties te bepalen, en red teaming van beleidsregels uit te voeren om gedrag bloot te leggen dat inbreuk maakt op fysieke of semantische veiligheidsbeperkingen. We valideren deze capaciteiten door middel van meer dan 1600 evaluaties in de echte wereld van acht Gemini Robotics-beleidscheckpoints en vijf taken voor een bimanuele manipulator.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Evaluatie van Gemini Robotics-beleid in een Veo World Simulator

Evaluating Gemini Robotics Policies in a Veo World Simulator

Samenvatting

Support