Orientando seus Generalistas: Melhorando Modelos Fundamentais de Robótica por meio de Orientação de Valor

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Autores: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Resumo

Políticas robóticas de propósito geral, treinadas em conjuntos de demonstrações diversos, têm se mostrado notavelmente eficazes tanto para controlar uma variedade de robôs em diferentes cenários, quanto para adquirir amplos repertórios de habilidades de manipulação. No entanto, os dados nos quais tais políticas são treinadas geralmente possuem qualidade mista - as demonstrações coletadas por humanos dificilmente executam a tarefa perfeitamente, e quanto maior o conjunto de dados, mais difícil é selecionar apenas os exemplos de mais alta qualidade. Além disso, permanece incerto quão ótimos são os dados de uma forma para treinar em outra forma. Neste artigo, apresentamos uma abordagem geral e amplamente aplicável que aprimora o desempenho dessas políticas robóticas generalistas no momento da implantação, reclassificando suas ações de acordo com uma função de valor aprendida por meio de RL offline. Essa abordagem, que chamamos de Direcionamento de Política Guiado por Valor (V-GPS), é compatível com uma ampla gama de políticas generalistas diferentes, sem a necessidade de ajustes finos ou mesmo acesso aos pesos da política. Mostramos que a mesma função de valor pode melhorar o desempenho de cinco políticas de ponta com arquiteturas diferentes, mesmo que tenham sido treinadas em conjuntos de dados distintos, obtendo melhorias consistentes de desempenho em várias plataformas robóticas em um total de 12 tarefas. O código e os vídeos podem ser encontrados em: https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS