Ragionamento Agente e Integrazione di Strumenti per LLM tramite Apprendimento per Rinforzo

Agentic Reasoning and Tool Integration for LLMs via Reinforcement Learning

April 28, 2025

Autori: Joykirat Singh, Raghav Magazine, Yash Pandya, Akshay Nambi

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno compiuto progressi significativi nei compiti di ragionamento complesso, ma rimangono fondamentalmente limitati dalla loro dipendenza da conoscenze interne statiche e da un ragionamento basato esclusivamente sul testo. La risoluzione di problemi nel mondo reale richiede spesso un ragionamento dinamico e multi-step, una decisione adattiva e la capacità di interagire con strumenti e ambienti esterni. In questo lavoro, introduciamo ARTIST (Agentic Reasoning and Tool Integration in Self-improving Transformers), un framework unificato che integra strettamente il ragionamento agentico, l'apprendimento per rinforzo e l'integrazione di strumenti per gli LLM. ARTIST consente ai modelli di decidere autonomamente quando, come e quali strumenti invocare all'interno di catene di ragionamento multi-turn, sfruttando l'apprendimento per rinforzo basato sui risultati per apprendere strategie robuste per l'uso degli strumenti e l'interazione con l'ambiente, senza richiedere una supervisione a livello di step. Esperimenti estesi su benchmark di ragionamento matematico e chiamate di funzioni multi-turn dimostrano che ARTIST supera costantemente i migliori modelli di riferimento, con un miglioramento assoluto fino al 22% rispetto ai modelli di base e guadagni significativi nei compiti più impegnativi. Studi dettagliati e analisi metriche rivelano che l'addestramento con apprendimento per rinforzo agentico porta a un ragionamento più profondo, un uso più efficace degli strumenti e soluzioni di qualità superiore. I nostri risultati stabiliscono l'apprendimento per rinforzo agentico con integrazione di strumenti come una nuova e potente frontiera per la risoluzione di problemi robusta, interpretabile e generalizzabile negli LLM.

English

Large language models (LLMs) have achieved remarkable progress in complex reasoning tasks, yet they remain fundamentally limited by their reliance on static internal knowledge and text-only reasoning. Real-world problem solving often demands dynamic, multi-step reasoning, adaptive decision making, and the ability to interact with external tools and environments. In this work, we introduce ARTIST (Agentic Reasoning and Tool Integration in Self-improving Transformers), a unified framework that tightly couples agentic reasoning, reinforcement learning, and tool integration for LLMs. ARTIST enables models to autonomously decide when, how, and which tools to invoke within multi-turn reasoning chains, leveraging outcome-based RL to learn robust strategies for tool use and environment interaction without requiring step-level supervision. Extensive experiments on mathematical reasoning and multi-turn function calling benchmarks show that ARTIST consistently outperforms state-of-the-art baselines, with up to 22% absolute improvement over base models and strong gains on the most challenging tasks. Detailed studies and metric analyses reveal that agentic RL training leads to deeper reasoning, more effective tool use, and higher-quality solutions. Our results establish agentic RL with tool integration as a powerful new frontier for robust, interpretable, and generalizable problem-solving in LLMs.