大規模言語モデルを用いたゼロショットモデルベースの強化学習

Zero-shot Model-based Reinforcement Learning using Large Language Models

October 15, 2024

著者: Abdelhakim Benechehab, Youssef Attia El Hili, Ambroise Odonnat, Oussama Zekri, Albert Thomas, Giuseppe Paolo, Maurizio Filippone, Ievgen Redko, Balázs Kégl

cs.AI

要旨

大規模言語モデル（LLM）の新たなゼロショット機能の台頭により、自然言語処理のタスクをはるかに超えた領域への応用が進んでいます。強化学習において、LLMはテキストベースの環境で広く使用されていますが、連続状態空間との統合は未だ研究が不十分です。本論文では、事前学習済みのLLMが連続マルコフ決定過程のダイナミクスを文脈の中で予測するためにどのように活用できるかを調査します。我々は、多変量データの取り扱いと制御信号の組み込みをLLMの展開の潜在能力を制限する主要な課題と位置付け、これらに対処するためにDisentangled In-Context Learning（DICL）を提案します。提案手法の理論的分析に裏付けられた、モデルベースの方策評価とデータ拡張型のオフポリシー強化学習の2つの強化学習設定での概念実証アプリケーションを提示します。さらに、実験により、当該手法が適切にキャリブレートされた不確実性推定を生成することを示します。コードは以下のURLから公開しています：https://github.com/abenechehab/dicl.

English

The emerging zero-shot capabilities of Large Language Models (LLMs) have led to their applications in areas extending well beyond natural language processing tasks. In reinforcement learning, while LLMs have been extensively used in text-based environments, their integration with continuous state spaces remains understudied. In this paper, we investigate how pre-trained LLMs can be leveraged to predict in context the dynamics of continuous Markov decision processes. We identify handling multivariate data and incorporating the control signal as key challenges that limit the potential of LLMs' deployment in this setup and propose Disentangled In-Context Learning (DICL) to address them. We present proof-of-concept applications in two reinforcement learning settings: model-based policy evaluation and data-augmented off-policy reinforcement learning, supported by theoretical analysis of the proposed methods. Our experiments further demonstrate that our approach produces well-calibrated uncertainty estimates. We release the code at https://github.com/abenechehab/dicl.