TRACE: Entrenamiento Agéntico Orientado a Capacidades

TRACE: Capability-Targeted Agentic Training

April 7, 2026

Autores: Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Azalia Mirhoseini

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) desplegados en entornos agenticos deben ejercitar múltiples capacidades a través de diferentes instancias de tareas, donde una capacidad consiste en realizar una o más acciones en una trayectoria que son necesarias para resolver exitosamente un subconjunto de tareas en el entorno. Muchos enfoques existentes o bien dependen de datos de entrenamiento sintéticos que no están dirigidos a los déficits reales de capacidad del modelo en el entorno objetivo, o entrenan directamente en el entorno objetivo, donde el modelo necesita aprender implícitamente las capacidades a través de las tareas. Presentamos TRACE (*Turning Recurrent Agent failures into Capability-targeted training Environments*), un sistema integral para la auto-mejora de agentes específica del entorno. TRACE contrasta trayectorias exitosas y fallidas para identificar automáticamente capacidades deficitarias, sintetiza un entorno de entrenamiento dirigido para cada una que premia si la capacidad fue ejercitada, y entrena un adaptador LoRA mediante RL en cada entorno sintético, enrutando hacia el adaptador relevante durante la inferencia. Empíricamente, TRACE generaliza a través de diferentes entornos, mejorando al agente base en +14.1 puntos en τ²-bench (servicio al cliente) y +7 puntuaciones perfectas en ToolSandbox (uso de herramientas), superando a la línea base más fuerte por +7.4 puntos y +4 puntuaciones perfectas, respectivamente. Dado el mismo número de ejecuciones, TRACE escala de manera más eficiente que las líneas base, superando a GRPO y GEPA por +9.2 y +7.4 puntos en τ²-bench.

English

Large Language Models (LLMs) deployed in agentic environments must exercise multiple capabilities across different task instances, where a capability is performing one or more actions in a trajectory that are necessary for successfully solving a subset of tasks in the environment. Many existing approaches either rely on synthetic training data that is not targeted to the model's actual capability deficits in the target environment or train directly on the target environment, where the model needs to implicitly learn the capabilities across tasks. We introduce TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), an end-to-end system for environment-specific agent self-improvement. TRACE contrasts successful and failed trajectories to automatically identify lacking capabilities, synthesizes a targeted training environment for each that rewards whether the capability was exercised, and trains a LoRA adapter via RL on each synthetic environment, routing to the relevant adapter at inference. Empirically, TRACE generalizes across different environments, improving over the base agent by +14.1 points on τ^2-bench (customer service) and +7 perfect scores on ToolSandbox (tool use), outperforming the strongest baseline by +7.4 points and +4 perfect scores, respectively. Given the same number of rollouts, TRACE scales more efficiently than baselines, outperforming GRPO and GEPA by +9.2 and +7.4 points on τ^2-bench.