Veo World 시뮬레이터에서 Gemini 로봇 정책 평가하기

초록

생성적 세계 모델은 다양한 환경에서 시각운동 정책과의 상호작용을 시뮬레이션하는 데 상당한 잠재력을 지닙니다. 최첨단 비디오 모델은 확장성 있고 일반적인 방식으로 현실적인 관측치와 환경 상호작용을 생성할 수 있게 합니다. 그러나 로봇공학에서 비디오 모델의 사용은 주로 분포 내 평가, 즉 정책을 훈련하거나 기본 비디오 모델을 미세 조정하는 데 사용된 시나리오와 유사한 상황으로 제한되어 왔습니다. 본 보고서에서는 비디오 모델이 로봇공학의 정책 평가 사용 사례 전반에 걸쳐 활용될 수 있음을 입증합니다: 정상 성능 평가부터 분포 외 일반화, 물리적 및 의미론적 안전성 탐지에 이르기까지. 우리는 최첨단 비디오 기초 모델(Veo)을 기반으로 구축된 생성적 평가 시스템을 소개합니다. 이 시스템은 로봇 행동 조건 지정 및 다중 뷰 일관성을 지원하도록 최적화되었으며, 생성적 이미지 편집 및 다중 뷰 완성을 통합하여 여러 일반화 축을 따라 현실 세계 장면의 현실적인 변형을 합성합니다. 우리는 이 시스템이 비디오 모델의 기본 능력을 보존하여 새로운 상호작용 객체, 새로운 시각적 배경, 새로운 방해 객체를 포함하도록 편집된 장면의 정확한 시뮬레이션을 가능하게 함을 입증합니다. 이러한 정확도는 정상 및 분포 외 조건에서 서로 다른 정책들의 상대적 성능을 정확히 예측하고, 다양한 일반화 축이 정책 성능에 미치는 상대적 영향을 결정하며, 물리적 또는 의미론적 안전 제약을 위반하는 행동을 드러내기 위한 정책 레드 팀링을 수행하는 것을 가능하게 합니다. 우리는 양손 조작 로봇을 위한 5가지 작업과 8개의 Gemini Robotics 정책 체크포인트에 대한 1600회 이상의 실제 평가를 통해 이러한 능력을 검증합니다.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Veo World 시뮬레이터에서 Gemini 로봇 정책 평가하기

Evaluating Gemini Robotics Policies in a Veo World Simulator

초록

Support