Оценка политик робототехники Gemini в симуляторе Veo World

Аннотация

Генеративные модели мира обладают значительным потенциалом для моделирования взаимодействий с визомоторными политиками в различных средах. Передовые видео-модели позволяют генерировать реалистичные наблюдения и взаимодействия со средой масштабируемым и универсальным способом. Однако использование видео-моделей в робототехнике до сих пор в основном ограничивалось оценками в пределах распределения, то есть сценариями, схожими с теми, что использовались для обучения политики или дообучения базовой видео-модели. В данном отчете мы демонстрируем, что видео-модели могут быть использованы для всего спектра задач оценки политик в робототехнике: от оценки номинальной производительности до обобщения за пределами распределения (OOD) и проверки физической и семантической безопасности. Мы представляем систему генеративной оценки, построенную на основе передовой фоновой видео-модели (Veo). Система оптимизирована для поддержки обусловливания действий робота и согласованности между несколькими ракурсами, а также интегрирует генеративное редактирование изображений и композицию многовидовых сцен для синтеза реалистичных вариаций сцен реального мира по нескольким осям обобщения. Мы показываем, что система сохраняет базовые возможности видео-модели, что позволяет точно моделировать сцены, отредактированные для включения новых объектов взаимодействия, новых визуальных фонов и новых объектов-отвлекающих факторов. Такая точность позволяет достоверно прогнозировать относительную производительность различных политик как в номинальных условиях, так и в условиях OOD, определять относительное влияние различных осей обобщения на производительность политики и проводить редтиминг политик для выявления поведений, нарушающих ограничения физической или семантической безопасности. Мы проверяем эти возможности с помощью более 1600 оценок в реальном мире для восьми контрольных точек политик Gemini Robotics и пяти задач для двурукого манипулятора.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Оценка политик робототехники Gemini в симуляторе Veo World

Evaluating Gemini Robotics Policies in a Veo World Simulator

Аннотация

Support