ASTRA: Automatisierte Synthese agentischer Trajektorien und verstärkender Arenen

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend als werkzeuggestützte Agenten für mehrstufige Entscheidungsfindung eingesetzt, doch die Ausbildung robuster werkzeugnutzender Agenten bleibt eine Herausforderung. Bestehende Methoden erfordern nach wie vor manuelle Eingriffe, sind auf nicht verifizierbare simulierte Umgebungen angewiesen, stützen sich ausschließlich auf either supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL) und haben Schwierigkeiten mit stabilem, langfristigem Lernen über mehrere Interaktionen hinweg. Um diese Herausforderungen zu bewältigen, stellen wir ASTRA vor, ein vollständig automatisiertes End-to-End-Framework zur Ausbildung werkzeuggestützter Sprachmodell-Agenten durch skalierbare Datensynthese und verifizierbares Reinforcement Learning. ASTRA integriert zwei komplementäre Komponenten. Erstens eine Pipeline, die die statische Topologie von Werkzeugaufrufgraphen nutzt, um diverse, strukturell fundierte Trajektorien zu synthetisieren und so breite, übertragbare Werkzeugnutzungskompetenz zu vermitteln. Zweitens ein Framework zur Umgebungssynthese, das die reiche, kompositionelle Topologie menschlichen semantischen Denkens erfasst und zerlegte Frage-Antwort-Spuren in unabhängige, code-ausführbare und regelverifizierbare Umgebungen umwandelt, was deterministisches Multi-Turn-RL ermöglicht. Auf dieser Grundlage entwickeln wir eine einheitliche Trainingsmethodik, die SFT mit Online-RL unter Verwendung von Trajektorien-belohnungen integriert, um Aufgabenabschluss und Interaktionseffizienz auszugleichen. Experimente mit mehreren Benchmarks für agentische Werkzeugnutzung zeigen, dass mit ASTRA trainierte Modelle auf vergleichbarer Skala state-of-the-art Leistung erzielen und sich geschlossenen Quellsystemen annähern, während sie die Kernfähigkeit zum logischen Schlussfolgern bewahren. Wir veröffentlichen die vollständigen Pipelines, Umgebungen und trainierten Modelle unter https://github.com/LianjiaTech/astra.

English

Large language models (LLMs) are increasingly used as tool-augmented agents for multi-step decision making, yet training robust tool-using agents remains challenging. Existing methods still require manual intervention, depend on non-verifiable simulated environments, rely exclusively on either supervised fine-tuning (SFT) or reinforcement learning (RL), and struggle with stable long-horizon, multi-turn learning. To address these challenges, we introduce ASTRA, a fully automated end-to-end framework for training tool-augmented language model agents via scalable data synthesis and verifiable reinforcement learning. ASTRA integrates two complementary components. First, a pipeline that leverages the static topology of tool-call graphs synthesizes diverse, structurally grounded trajectories, instilling broad and transferable tool-use competence. Second, an environment synthesis framework that captures the rich, compositional topology of human semantic reasoning converts decomposed question-answer traces into independent, code-executable, and rule-verifiable environments, enabling deterministic multi-turn RL. Based on this method, we develop a unified training methodology that integrates SFT with online RL using trajectory-level rewards to balance task completion and interaction efficiency. Experiments on multiple agentic tool-use benchmarks demonstrate that ASTRA-trained models achieve state-of-the-art performance at comparable scales, approaching closed-source systems while preserving core reasoning ability. We release the full pipelines, environments, and trained models at https://github.com/LianjiaTech/astra.

ASTRA: Automatisierte Synthese agentischer Trajektorien und verstärkender Arenen

ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas

papers.abstract

Support