TRACE: Addestramento Agente Orientato alle Capacità
TRACE: Capability-Targeted Agentic Training
April 7, 2026
Autori: Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Azalia Mirhoseini
cs.AI
Abstract
I Modelli Linguistici di Grande Dimensione (LLM) impiegati in ambienti agentici devono esercitare molteplici capacità attraverso diverse istanze di compito, dove una capacità consiste nell'eseguire una o più azioni in una traiettoria che sono necessarie per risolvere con successo un sottoinsieme di compiti nell'ambiente. Molti approcci esistenti si basano su dati di addestramento sintetici non mirati ai deficit effettivi di capacità del modello nell'ambiente target, oppure addestrano direttamente sull'ambiente target, dove il modello deve apprendere implicitamente le capacità attraverso i compiti. Introduciamo TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), un sistema end-to-end per l'auto-miglioramento specifico dell'ambiente per agenti. TRACE confronta le traiettorie di successo e di fallimento per identificare automaticamente le capacità carenti, sintetizza un ambiente di addestramento mirato per ciascuna che premia l'esercizio della capacità, e addestra un adattatore LoRA tramite RL su ciascun ambiente sintetico, instradando verso l'adattatore rilevante durante l'inferenza. Empiricamente, TRACE generalizza attraverso diversi ambienti, migliorando l'agente base di +14,1 punti su τ²-bench (servizio clienti) e di +7 punteggi perfetti su ToolSandbox (uso di strumenti), superando la baseline più forte rispettivamente di +7,4 punti e +4 punteggi perfetti. A parità di numero di rollout, TRACE scala in modo più efficiente delle baseline, superando GRPO e GEPA di +9,2 e +7,4 punti su τ²-bench.
English
Large Language Models (LLMs) deployed in agentic environments must exercise multiple capabilities across different task instances, where a capability is performing one or more actions in a trajectory that are necessary for successfully solving a subset of tasks in the environment. Many existing approaches either rely on synthetic training data that is not targeted to the model's actual capability deficits in the target environment or train directly on the target environment, where the model needs to implicitly learn the capabilities across tasks. We introduce TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), an end-to-end system for environment-specific agent self-improvement. TRACE contrasts successful and failed trajectories to automatically identify lacking capabilities, synthesizes a targeted training environment for each that rewards whether the capability was exercised, and trains a LoRA adapter via RL on each synthetic environment, routing to the relevant adapter at inference. Empirically, TRACE generalizes across different environments, improving over the base agent by +14.1 points on τ^2-bench (customer service) and +7 perfect scores on ToolSandbox (tool use), outperforming the strongest baseline by +7.4 points and +4 perfect scores, respectively. Given the same number of rollouts, TRACE scales more efficiently than baselines, outperforming GRPO and GEPA by +9.2 and +7.4 points on τ^2-bench.