一般的なAIモデルを導く：価値ガイダンスを通じたロボット基盤モデルの改善

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

著者: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

要旨

多様なデモンストレーションデータセットで訓練された大規模で汎用性の高いロボットポリシーは、さまざまなシーンでのさまざまなロボットの制御に非常に効果的であり、幅広い操作スキルのレパートリーを獲得するためにも効果的であることが示されています。ただし、このようなポリシーの訓練に使用されるデータは一般的に質のばらつきがあります。人間が収集したデモンストレーションは完璧にタスクを遂行することは期待できず、データセットが大きくなればなるほど、最高品質の例だけを厳選することが難しくなります。また、ある具現からの最適なデータが別の具現での訓練にどのように適しているかは依然として明確ではありません。本論文では、オフラインRLによって学習された価値関数に従ってアクションを再ランク付けすることで、展開時にこのような汎用ロボットポリシーのパフォーマンスを向上させる一般的で広く適用可能なアプローチを提案します。このアプローチは、バリューガイドポリシーステアリング（V-GPS）と呼ばれ、幅広い異なる汎用ポリシーと互換性があり、ポリシーの重みを微調整したり、アクセスしたりする必要がありません。我々は、同じ価値関数が異なるアーキテクチャを持つ5つの最先端のポリシーのパフォーマンスを向上させることができることを示しました。これらのポリシーは異なるデータセットで訓練されていましたが、12のタスク全体で複数のロボットプラットフォームで一貫したパフォーマンス向上を達成しました。コードと動画は以下で入手できます：https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS