Implizite Erfahrung entschlüsseln: Synthese von Werkzeuggebrauchstrajektorien aus Text
Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text
January 15, 2026
papers.authors: Zhihao Xu, Rumei Li, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xunliang Cai, Xiting Wang
cs.AI
papers.abstract
Die Fähigkeit großer Sprachmodelle (LLMs), Werkzeuge in mehrstufigen Interaktionen effektiv zu nutzen, ist entscheidend für die Entwicklung leistungsfähiger autonomer Agenten. Dennoch stellt die Beschaffung vielfältiger und realistischer Mehrfachaufruf-Daten eine erhebliche Herausforderung dar. In dieser Arbeit schlagen wir ein neuartiges textbasiertes Paradigma vor. Wir stellen fest, dass Textkorpora auf natürliche Weise umfangreiche, mehrstufige Problemlösungsprozesse enthalten, die als ungenutzte, skalierbare und authentische Datenquelle für Mehrfachaufruf-Aufgaben dienen können. Aufbauend auf dieser Erkenntnis stellen wir GEM vor, eine Daten-Synthese-Pipeline, die die Generierung und Extraktion von Mehrfachaufruf-Abläufen aus Textkorpora durch einen vierstufigen Prozess ermöglicht: Relevanzfilterung, Extraktion von Arbeitsabläufen und Werkzeugen, Verankerung der Abläufe und Komplexitätsverfeinerung. Um die Rechenkosten zu senken, trainieren wir weiterhin einen spezialisierten Ablauf-Synthesizer durch überwachtes Feintuning. Dieses Modell verdichtet die komplexe Generierungspipeline zu einem effizienten, end-to-end Ablaufgenerator. Experimente zeigen, dass unser GEM-32B-Modell eine Verbesserung von 16,5 % auf dem BFCL V3 Multi-turn Benchmark erzielt. Unsere Modelle übertreffen teilweise die Leistung von Modellen, die mit domänenspezifischen Daten von τ-bench (Airline und Retail) trainiert wurden, was die überlegene Generalisierungsfähigkeit unseres textbasierten Syntheseparadigmas unterstreicht. Besonders bemerkenswert ist, dass unser Ablauf-Synthesizer die Qualität der vollständigen Pipeline erreicht und dabei die Inferenzlatenz und -kosten erheblich reduziert.
English
Enabling Large Language Models (LLMs) to effectively utilize tools in multi-turn interactions is essential for building capable autonomous agents. However, acquiring diverse and realistic multi-turn tool-use data remains a significant challenge. In this work, we propose a novel text-based paradigm. We observe that textual corpora naturally contain rich, multi-step problem-solving experiences, which can serve as an untapped, scalable, and authentic data source for multi-turn tool-use tasks. Based on this insight, we introduce GEM, a data synthesis pipeline that enables the generation and extraction of multi-turn tool-use trajectories from text corpora through a four-stage process: relevance filtering, workflow & tool extraction, trajectory grounding, and complexity refinement. To reduce the computational cost, we further train a specialized Trajectory Synthesizer via supervised fine-tuning. This model distills the complex generation pipeline into an efficient, end-to-end trajectory generator. Experiments demonstrate that our GEM-32B achieve a 16.5% improvement on the BFCL V3 Multi-turn benchmark. Our models partially surpass the performance of models trained on τ - bench (Airline and Retail) in-domain data, highlighting the superior generalization capability derived from our text-based synthesis paradigm. Notably, our Trajectory Synthesizer matches the quality of the full pipeline while significantly reducing inference latency and costs.