Apprendimento per rinforzo basato su modelli senza addestramento utilizzando grandi modelli linguistici.

Zero-shot Model-based Reinforcement Learning using Large Language Models

October 15, 2024

Autori: Abdelhakim Benechehab, Youssef Attia El Hili, Ambroise Odonnat, Oussama Zekri, Albert Thomas, Giuseppe Paolo, Maurizio Filippone, Ievgen Redko, Balázs Kégl

cs.AI

Abstract

Le emergenti capacità zero-shot dei Large Language Models (LLM) hanno portato alla loro applicazione in settori che vanno ben oltre i compiti di elaborazione del linguaggio naturale. Nell'apprendimento per rinforzo, sebbene i LLM siano stati ampiamente utilizzati in ambienti basati su testo, la loro integrazione con spazi di stato continui rimane poco studiata. In questo articolo, esaminiamo come i LLM pre-addestrati possano essere sfruttati per prevedere contestualmente la dinamica dei processi decisionali di Markov continui. Identifichiamo la gestione dei dati multivariati e l'incorporazione del segnale di controllo come sfide chiave che limitano il potenziale di impiego dei LLM in questa configurazione e proponiamo il Disentangled In-Context Learning (DICL) per affrontarle. Presentiamo applicazioni di prova in due contesti di apprendimento per rinforzo: valutazione della politica basata sul modello e apprendimento per rinforzo off-policy potenziato dai dati, supportate da un'analisi teorica dei metodi proposti. I nostri esperimenti dimostrano inoltre che il nostro approccio produce stime di incertezza ben calibrate. Rilasciamo il codice su https://github.com/abenechehab/dicl.

English

The emerging zero-shot capabilities of Large Language Models (LLMs) have led to their applications in areas extending well beyond natural language processing tasks. In reinforcement learning, while LLMs have been extensively used in text-based environments, their integration with continuous state spaces remains understudied. In this paper, we investigate how pre-trained LLMs can be leveraged to predict in context the dynamics of continuous Markov decision processes. We identify handling multivariate data and incorporating the control signal as key challenges that limit the potential of LLMs' deployment in this setup and propose Disentangled In-Context Learning (DICL) to address them. We present proof-of-concept applications in two reinforcement learning settings: model-based policy evaluation and data-augmented off-policy reinforcement learning, supported by theoretical analysis of the proposed methods. Our experiments further demonstrate that our approach produces well-calibrated uncertainty estimates. We release the code at https://github.com/abenechehab/dicl.