Управление вашими общими специалистами: улучшение базовых моделей роботов с помощью руководства ценностью

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Авторы: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Аннотация

Большие универсальные робототехнические стратегии, обученные на разнообразных наборах демонстраций, показали себя чрезвычайно эффективными как для управления различными роботами в различных сценах, так и для приобретения широких репертуаров навыков манипулирования. Однако данные, на которых обучаются такие стратегии, обычно имеют смешанное качество - не только демонстрации, собранные людьми, редко выполняют задачу идеально, но чем больше набор данных, тем сложнее отобрать только примеры высочайшего качества. Также остается неясным, насколько оптимальными являются данные от одного воплощения для обучения на другом воплощении. В данной статье мы представляем общий и широко применимый подход, который повышает производительность таких универсальных робототехнических стратегий во время эксплуатации путем переоценки их действий в соответствии с функцией ценности, изученной с помощью оффлайн обучения с подкреплением. Этот подход, который мы называем Управляемое Значением Управление стратегией (V-GPS), совместим с широким спектром различных универсальных стратегий, не требуя тонкой настройки или даже доступа к весам стратегии. Мы показываем, что одна и та же функция ценности может улучшить производительность пяти различных передовых стратегий с различными архитектурами, даже если они были обучены на различных наборах данных, достигая последовательного улучшения производительности на нескольких робототехнических платформах в общей сложности 12 задач. Код и видео можно найти по ссылке: https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS