Guidare i tuoi generalisti: Migliorare i modelli fondamentali dei robot tramite guida dei valori

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Autori: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Abstract

Le politiche robotiche di ampia portata addestrate su insiemi di dimostrazioni diversificati hanno dimostrato di essere straordinariamente efficaci sia nel controllo di una varietà di robot in una serie di scenari diversi, sia nell'acquisizione di ampi repertori di abilità di manipolazione. Tuttavia, i dati su cui tali politiche vengono addestrate sono generalmente di qualità mista: non solo le dimostrazioni raccolte da esseri umani sono improbabili nel compiere perfettamente il compito, ma più è grande l'insieme di dati, più è difficile selezionare solo gli esempi di qualità più alta. Inoltre, rimane poco chiaro quanto siano ottimali i dati da un'incarnazione per l'addestramento su un'altra incarnazione. In questo articolo, presentiamo un approccio generale e ampiamente applicabile che migliora le prestazioni di tali politiche robotiche generaliste al momento del dispiegamento, riorientando le loro azioni in base a una funzione di valore appresa tramite RL offline. Questo approccio, che chiamiamo Value-Guided Policy Steering (V-GPS), è compatibile con una vasta gamma di politiche generaliste diverse, senza la necessità di ottimizzazioni o di accedere ai pesi della politica. Dimostriamo che la stessa funzione di valore può migliorare le prestazioni di cinque diverse politiche all'avanguardia con architetture diverse, anche se sono state addestrate su insiemi di dati distinti, ottenendo un miglioramento costante delle prestazioni su più piattaforme robotiche in un totale di 12 compiti. Il codice e i video sono disponibili su: https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS