Обучение с подкреплением на основе модели без обучающих примеров с использованием больших языковых моделей

Zero-shot Model-based Reinforcement Learning using Large Language Models

October 15, 2024

Авторы: Abdelhakim Benechehab, Youssef Attia El Hili, Ambroise Odonnat, Oussama Zekri, Albert Thomas, Giuseppe Paolo, Maurizio Filippone, Ievgen Redko, Balázs Kégl

cs.AI

Аннотация

Возникающие возможности нулевого обучения у больших языковых моделей (LLM) привели к их применению в областях, выходящих далеко за рамки задач обработки естественного языка. В обучении с подкреплением, хотя LLM широко используются в текстовых средах, их интеграция с непрерывными пространствами состояний остается малоизученной. В данной статье мы исследуем, как предварительно обученные LLM могут быть задействованы для прогнозирования в контексте динамики непрерывных марковских процессов принятия решений. Мы выделяем работу с многомерными данными и интеграцию управляющего сигнала как ключевые проблемы, ограничивающие потенциал применения LLM в этой конфигурации, и предлагаем метод Disentangled In-Context Learning (DICL) для их решения. Мы представляем приложения концепции в двух настройках обучения с подкреплением: оценка политики на основе модели и обучение с подкреплением с увеличением данных вне политики, подкрепленные теоретическим анализом предложенных методов. Наши эксперименты также демонстрируют, что наш подход производит хорошо калиброванные оценки неопределенности. Мы выкладываем код на https://github.com/abenechehab/dicl.

English

The emerging zero-shot capabilities of Large Language Models (LLMs) have led to their applications in areas extending well beyond natural language processing tasks. In reinforcement learning, while LLMs have been extensively used in text-based environments, their integration with continuous state spaces remains understudied. In this paper, we investigate how pre-trained LLMs can be leveraged to predict in context the dynamics of continuous Markov decision processes. We identify handling multivariate data and incorporating the control signal as key challenges that limit the potential of LLMs' deployment in this setup and propose Disentangled In-Context Learning (DICL) to address them. We present proof-of-concept applications in two reinforcement learning settings: model-based policy evaluation and data-augmented off-policy reinforcement learning, supported by theoretical analysis of the proposed methods. Our experiments further demonstrate that our approach produces well-calibrated uncertainty estimates. We release the code at https://github.com/abenechehab/dicl.