Dirigiendo a tus Generalistas: Mejorando los Modelos Fundamentales de Robótica a través de la Orientación de Valor

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Autores: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Resumen

Las políticas robóticas de propósito general, entrenadas en conjuntos de demostraciones diversos, han demostrado ser notablemente efectivas tanto para controlar una variedad de robots en diferentes escenarios, como para adquirir amplios repertorios de habilidades de manipulación. Sin embargo, los datos en los que se entrenan dichas políticas suelen ser de calidad mixta: las demostraciones recopiladas por humanos no suelen realizar la tarea de manera perfecta, y cuanto más grande es el conjunto de datos, más difícil resulta seleccionar solo los ejemplos de mayor calidad. También sigue sin estar claro qué tan óptimos son los datos de una encarnación para entrenar en otra encarnación. En este artículo, presentamos un enfoque general y ampliamente aplicable que mejora el rendimiento de dichas políticas robóticas generalistas en el momento de implementación al reordenar sus acciones según una función de valor aprendida a través de RL fuera de línea. Este enfoque, al que llamamos Dirección de Política Guiada por Valor (V-GPS), es compatible con una amplia gama de políticas generalistas diferentes, sin necesidad de ajustar finamente o incluso acceder a los pesos de la política. Mostramos que la misma función de valor puede mejorar el rendimiento de cinco políticas de vanguardia con arquitecturas diferentes, aunque hayan sido entrenadas en conjuntos de datos distintos, logrando una mejora de rendimiento consistente en múltiples plataformas robóticas en un total de 12 tareas. El código y los videos se pueden encontrar en: https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS