Het Ontslluiten van Impliciete Ervaring: Synthese van Gereedschapsgebruikstrajecten uit Tekst

Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text

January 15, 2026

Auteurs: Zhihao Xu, Rumei Li, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xunliang Cai, Xiting Wang

cs.AI

Samenvatting

Het mogelijk maken voor Large Language Models (LLM's) om effectief gebruik te maken van tools in meerdaagse interacties is essentieel voor het bouwen van capabele autonome agents. Het verwerven van diverse en realistische meerdaagse toolgebruiksdata blijft echter een aanzienlijke uitdaging. In dit werk stellen wij een nieuw tekstgebaseerd paradigma voor. Wij observeren dat tekstuele corpora van nature rijke, meerstaps probleemoplossende ervaringen bevatten, die kunnen dienen als een onbenutte, schaalbare en authentieke databron voor meerdaagse toolgebruikstaken. Gebaseerd op dit inzicht introduceren wij GEM, een datasynthesepijplijn die de generatie en extractie van meerdaagse toolgebruikstrajecten uit tekstcorpora mogelijk maakt via een vierstappenproces: relevantiefiltering, workflow- & tool extractie, trajectverankering en complexiteitsverfijning. Om de rekenkosten te verlagen, trainen wij verder een gespecialiseerde Traject Synthesizer via supervised fine-tuning. Dit model distilleert de complexe generatiepijplijn tot een efficiënte, end-to-end trajectgenerator. Experimenten tonen aan dat onze GEM-32B een verbetering van 16,5% behaalt op de BFCL V3 Multi-turn benchmark. Onze modellen overtreffen gedeeltelijk de prestaties van modellen getraind op τ-bench (Airline en Retail) domein-specifieke data, wat de superieure generalisatiecapaciteit benadrukt die voortkomt uit ons tekstgebaseerde syntheseparadigma. Opmerkelijk is dat onze Traject Synthesizer de kwaliteit van de volledige pijplijn evenaart, terwijl de inferentielatentie en -kosten aanzienlijk worden verminderd.

English

Enabling Large Language Models (LLMs) to effectively utilize tools in multi-turn interactions is essential for building capable autonomous agents. However, acquiring diverse and realistic multi-turn tool-use data remains a significant challenge. In this work, we propose a novel text-based paradigm. We observe that textual corpora naturally contain rich, multi-step problem-solving experiences, which can serve as an untapped, scalable, and authentic data source for multi-turn tool-use tasks. Based on this insight, we introduce GEM, a data synthesis pipeline that enables the generation and extraction of multi-turn tool-use trajectories from text corpora through a four-stage process: relevance filtering, workflow & tool extraction, trajectory grounding, and complexity refinement. To reduce the computational cost, we further train a specialized Trajectory Synthesizer via supervised fine-tuning. This model distills the complex generation pipeline into an efficient, end-to-end trajectory generator. Experiments demonstrate that our GEM-32B achieve a 16.5% improvement on the BFCL V3 Multi-turn benchmark. Our models partially surpass the performance of models trained on τ - bench (Airline and Retail) in-domain data, highlighting the superior generalization capability derived from our text-based synthesis paradigm. Notably, our Trajectory Synthesizer matches the quality of the full pipeline while significantly reducing inference latency and costs.