Aprendizagem por Reforço em Contexto para Uso de Ferramentas em Modelos de Linguagem de Grande Porte

In-Context Reinforcement Learning for Tool Use in Large Language Models

March 9, 2026

Autores: Yaoqi Ye, Yiran Zhao, Keyu Duan, Zeyu Zheng, Kenji Kawaguchi, Cihang Xie, Michael Qizhe Shieh

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) demonstrem fortes capacidades de raciocínio, o seu desempenho em tarefas complexas é frequentemente limitado pelas restrições do seu conhecimento interno. Uma abordagem convincente para superar este desafio é aumentar estes modelos com ferramentas externas — como interpretadores de Python para cálculos matemáticos ou motores de busca para recuperar informação factual. No entanto, permitir que os modelos utilizem estas ferramentas de forma eficaz continua a ser um desafio significativo. Os métodos existentes baseiam-se normalmente em *pipelines* de arranque a frio que começam com o ajuste fino supervisionado (SFT), seguido de aprendizagem por reforço (RL). Estas abordagens requerem frequentemente quantidades substanciais de dados rotulados para o SFT, que são dispendiosos de anotar ou sintetizar. Neste trabalho, propomos a Aprendizagem por Reforço em Contexto (ICRL), um framework baseado apenas em RL que elimina a necessidade de SFT, aproveitando a elicitação por poucos exemplos (*few-shot prompting*) durante a fase de implementação (*rollout*) do RL. Especificamente, a ICRL introduz exemplos em contexto nos *prompts* de *rollout* para ensinar o modelo a invocar ferramentas externas. Além disso, à medida que o treino progride, o número de exemplos em contexto é gradualmente reduzido, atingindo eventualmente um cenário de zero exemplos (*zero-shot*), onde o modelo aprende a chamar ferramentas de forma independente. Realizamos experiências extensas numa variedade de benchmarks de raciocínio e uso de ferramentas. Os resultados mostram que a ICRL atinge um desempenho de última geração, demonstrando a sua eficácia como uma alternativa escalável e eficiente em dados aos *pipelines* tradicionais baseados em SFT.

English

While large language models (LLMs) exhibit strong reasoning abilities, their performance on complex tasks is often constrained by the limitations of their internal knowledge. A compelling approach to overcome this challenge is to augment these models with external tools -- such as Python interpreters for mathematical computations or search engines for retrieving factual information. However, enabling models to use these tools effectively remains a significant challenge. Existing methods typically rely on cold-start pipelines that begin with supervised fine-tuning (SFT), followed by reinforcement learning (RL). These approaches often require substantial amounts of labeled data for SFT, which is expensive to annotate or synthesize. In this work, we propose In-Context Reinforcement Learning (ICRL), an RL-only framework that eliminates the need for SFT by leveraging few-shot prompting during the rollout stage of RL. Specifically, ICRL introduces in-context examples within the rollout prompts to teach the model how to invoke external tools. Furthermore, as training progresses, the number of in-context examples is gradually reduced, eventually reaching a zero-shot setting where the model learns to call tools independently. We conduct extensive experiments across a range of reasoning and tool-use benchmarks. Results show that ICRL achieves state-of-the-art performance, demonstrating its effectiveness as a scalable, data-efficient alternative to traditional SFT-based pipelines.