In-Context Versterkend Leren voor Gereedschapsgebruik in Grote Taalmodellen
In-Context Reinforcement Learning for Tool Use in Large Language Models
March 9, 2026
Auteurs: Yaoqi Ye, Yiran Zhao, Keyu Duan, Zeyu Zheng, Kenji Kawaguchi, Cihang Xie, Michael Qizhe Shieh
cs.AI
Samenvatting
Hoewel grote taalmodellen (LLM's) sterke redeneervermogen vertonen, wordt hun prestaties op complexe taken vaak beperkt door de grenzen van hun interne kennis. Een veelbelovende aanpak om deze uitdaging te overwinnen, is het verrijken van deze modellen met externe tools – zoals Python-interpreters voor wiskundige berekeningen of zoekmachines voor het ophalen van feitelijke informatie. Het effectief leren gebruiken van deze tools door de modellen blijft echter een aanzienlijke uitdaging. Bestaande methoden zijn typisch gebaseerd op cold-start-pipelines die beginnen met supervised fine-tuning (SFT), gevolgd door reinforcement learning (RL). Deze benaderingen vereisen vaak aanzienlijke hoeveelheden gelabelde data voor SFT, wat duur is om te annoteren of te synthetiseren. In dit werk stellen we In-Context Reinforcement Learning (ICRL) voor, een RL-only raamwerk dat de noodzaak voor SFT elimineert door gebruik te maken van few-shot prompting tijdens de rollout-fase van RL. Concreet introduceert ICRL in-context voorbeelden binnen de rollout-prompts om het model te leren hoe het externe tools kan aanroepen. Verder wordt, naarmate de training vordert, het aantal in-context voorbeelden geleidelijk afgebouwd, uiteindelijk resulterend in een zero-shot setting waarin het model leert om tools onafhankelijk te gebruiken. We voeren uitgebreide experimenten uit op een reeks redeneer- en tool-use benchmarks. De resultaten tonen aan dat ICRL state-of-the-art prestaties bereikt, wat de effectiviteit aantoont als een schaalbare, data-efficiënte alternatief voor traditionele SFT-gebaseerde pipelines.
English
While large language models (LLMs) exhibit strong reasoning abilities, their performance on complex tasks is often constrained by the limitations of their internal knowledge. A compelling approach to overcome this challenge is to augment these models with external tools -- such as Python interpreters for mathematical computations or search engines for retrieving factual information. However, enabling models to use these tools effectively remains a significant challenge. Existing methods typically rely on cold-start pipelines that begin with supervised fine-tuning (SFT), followed by reinforcement learning (RL). These approaches often require substantial amounts of labeled data for SFT, which is expensive to annotate or synthesize. In this work, we propose In-Context Reinforcement Learning (ICRL), an RL-only framework that eliminates the need for SFT by leveraging few-shot prompting during the rollout stage of RL. Specifically, ICRL introduces in-context examples within the rollout prompts to teach the model how to invoke external tools. Furthermore, as training progresses, the number of in-context examples is gradually reduced, eventually reaching a zero-shot setting where the model learns to call tools independently. We conduct extensive experiments across a range of reasoning and tool-use benchmarks. Results show that ICRL achieves state-of-the-art performance, demonstrating its effectiveness as a scalable, data-efficient alternative to traditional SFT-based pipelines.