I LLM sono Agenti Avidi: Effetti del Fine-tuning con RL sulle Capacità Decisionali

LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities

April 22, 2025

Autori: Thomas Schmied, Jörg Bornschein, Jordi Grau-Moya, Markus Wulfmeier, Razvan Pascanu

cs.AI

Abstract

Il successo dei Large Language Models (LLM) ha suscitato interesse in varie applicazioni agentiche. Un'ipotesi chiave è che i LLM, sfruttando il senso comune e il ragionamento a catena di pensiero (Chain-of-Thought, CoT), possano esplorare efficacemente e risolvere in modo efficiente domini complessi. Tuttavia, è stato osservato che gli agenti basati su LLM soffrono di esplorazione sub-ottimale e del divario tra conoscenza e azione (knowing-doing gap), ovvero l'incapacità di agire efficacemente sulla conoscenza presente nel modello. In questo lavoro, studiamo sistematicamente perché i LLM performano in modo sub-ottimale negli scenari di decision-making. In particolare, esaminiamo da vicino tre modalità di fallimento prevalenti: l'avidità (greediness), il bias di frequenza (frequency bias) e il divario tra conoscenza e azione. Proponiamo di mitigare queste carenze attraverso il fine-tuning tramite Reinforcement Learning (RL) su razionali CoT auto-generati. I nostri esperimenti, condotti su bandit multi-braccio, bandit contestuali e Tic-tac-toe, dimostrano che il fine-tuning con RL migliora le capacità di decision-making dei LLM aumentando l'esplorazione e riducendo il divario tra conoscenza e azione. Infine, studiamo sia meccanismi classici di esplorazione, come l'epsilon-greedy, sia approcci specifici per i LLM, come l'autocorrezione e l'autoconsistenza, per consentire un fine-tuning più efficace dei LLM per il decision-making.

English

The success of Large Language Models (LLMs) has sparked interest in various agentic applications. A key hypothesis is that LLMs, leveraging common sense and Chain-of-Thought (CoT) reasoning, can effectively explore and efficiently solve complex domains. However, LLM agents have been found to suffer from sub-optimal exploration and the knowing-doing gap, the inability to effectively act on knowledge present in the model. In this work, we systematically study why LLMs perform sub-optimally in decision-making scenarios. In particular, we closely examine three prevalent failure modes: greediness, frequency bias, and the knowing-doing gap. We propose mitigation of these shortcomings by fine-tuning via Reinforcement Learning (RL) on self-generated CoT rationales. Our experiments across multi-armed bandits, contextual bandits, and Tic-tac-toe, demonstrate that RL fine-tuning enhances the decision-making abilities of LLMs by increasing exploration and narrowing the knowing-doing gap. Finally, we study both classic exploration mechanisms, such as epsilon-greedy, and LLM-specific approaches, such as self-correction and self-consistency, to enable more effective fine-tuning of LLMs for decision-making.