LLMは貪欲なエージェント：意思決定能力に対するRLファインチューニングの影響

LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities

April 22, 2025

著者: Thomas Schmied, Jörg Bornschein, Jordi Grau-Moya, Markus Wulfmeier, Razvan Pascanu

cs.AI

要旨

大規模言語モデル（LLM）の成功は、様々なエージェント応用への関心を引き起こしています。重要な仮説として、LLMは常識と連鎖的思考（CoT）推論を活用することで、複雑な領域を効果的に探索し、効率的に解決できると考えられています。しかし、LLMエージェントは最適でない探索と「知っているが実行できない」ギャップ（モデル内に存在する知識を効果的に活用できないこと）に悩まされることが判明しています。本研究では、LLMが意思決定シナリオで最適でないパフォーマンスを示す理由を体系的に調査します。特に、貪欲性、頻度バイアス、そして「知っているが実行できない」ギャップという3つの主要な失敗モードを詳細に検証します。これらの欠点を緩和するために、自己生成したCoT推論に基づく強化学習（RL）によるファインチューニングを提案します。マルチアームバンディット、文脈付きバンディット、そして三目並べにおける実験を通じて、RLファインチューニングがLLMの意思決定能力を向上させ、探索を増やし、「知っているが実行できない」ギャップを狭めることを実証します。最後に、epsilon-greedyのような古典的な探索メカニズムと、自己修正や自己一貫性のようなLLM固有のアプローチを比較し、LLMの意思決定能力をより効果的にファインチューニングする方法を検討します。

English

The success of Large Language Models (LLMs) has sparked interest in various agentic applications. A key hypothesis is that LLMs, leveraging common sense and Chain-of-Thought (CoT) reasoning, can effectively explore and efficiently solve complex domains. However, LLM agents have been found to suffer from sub-optimal exploration and the knowing-doing gap, the inability to effectively act on knowledge present in the model. In this work, we systematically study why LLMs perform sub-optimally in decision-making scenarios. In particular, we closely examine three prevalent failure modes: greediness, frequency bias, and the knowing-doing gap. We propose mitigation of these shortcomings by fine-tuning via Reinforcement Learning (RL) on self-generated CoT rationales. Our experiments across multi-armed bandits, contextual bandits, and Tic-tac-toe, demonstrate that RL fine-tuning enhances the decision-making abilities of LLMs by increasing exploration and narrowing the knowing-doing gap. Finally, we study both classic exploration mechanisms, such as epsilon-greedy, and LLM-specific approaches, such as self-correction and self-consistency, to enable more effective fine-tuning of LLMs for decision-making.