배포하며 학습하기: 범용 로봇 정책을 위한 함대 규모 강화 학습

초록

범용 로봇 정책은 대규모 사전 훈련으로부터 점차 혜택을 얻고 있지만, 오프라인 데이터만으로는 강력한 실제 환경 배치에 불충분합니다. 배치된 로봇은 고정된 시범 데이터셋이 완전히 포착하지 못하는 분포 변화, 긴 꼬리 실패, 작업 변형, 그리고 인간 수정 기회에 직면합니다. 본 논문에서는 범용 시각-언어-행동(VLA) 정책의 지속적인 사후 훈련을 위한 플릿 규모의 오프라인-온라인 강화학습 프레임워크인 '배치 중 학습'(Learning While Deploying, LWD)을 제시합니다. 사전 훈련된 VLA 정책을 시작점으로, LWD는 로봇 플릿 전반에서 수집된 자율 롤아웃과 인간 개입을 활용하여 배치, 공유된 물리적 경험, 정책 개선, 재배치 사이의 순환을 닫습니다. 이질적이고 희소 보상 플릿 데이터로부터의 학습 안정화를 위해, LWD는 강건한 가치 추정을 위한 분포 암묵 가치 학습(Distributional Implicit Value Learning, DIVL)과 흐름 기반 VLA 행동 생성기 내 정책 추출을 위한 인접 매칭 Q-러닝(Q-learning via Adjoint Matching, QAM)을 결합합니다. LWD를 16대의 듀얼 암 로봇 플릿과 시맨틱 식품 진열 및 3-5분 장기간 작업을 포함한 8가지 실제 조작 작업에서 검증합니다. 단일 범용 정책은 플릿 경험이 누적됨에 따라 개선되어 평균 95%의 성공률에 도달하며, 가장 큰 성능 향상은 장기간 작업에서 나타납니다.

English

Generalist robot policies increasingly benefit from large-scale pretraining, but offline data alone is insufficient for robust real-world deployment. Deployed robots encounter distribution shifts, long-tail failures, task variations, and human correction opportunities that fixed demonstration datasets cannot fully capture. We present Learning While Deploying (LWD), a fleet-scale offline-to-online reinforcement learning framework for continual post-training of generalist Vision-Language-Action (VLA) policies. Starting from a pretrained VLA policy, LWD closes the loop between deployment, shared physical experience, policy improvement, and redeployment by using autonomous rollouts and human interventions collected across a robot fleet. To stabilize learning from heterogeneous, sparse-reward fleet data, LWD combines Distributional Implicit Value Learning (DIVL) for robust value estimation with Q-learning via Adjoint Matching (QAM) for policy extraction in flow-based VLA action generators. We validate LWD on a fleet of 16 dual-arm robots across eight real-world manipulation tasks, including semantic grocery restocking and 3--5 minute long-horizon tasks. A single generalist policy improves as fleet experience accumulates, reaching an average success rate of 95%, with the largest gains on long-horizon tasks.

배포하며 학습하기: 범용 로봇 정책을 위한 함대 규모 강화 학습

Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

초록

Support