Trace2Skill: Distilleer Trajectorie-Lokale Lessen in Overdraagbare Agentvaardigheden

Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills

March 26, 2026

Auteurs: Jingwei Ni, Yihao Liu, Xinpeng Liu, Yutao Sun, Mengyu Zhou, Pengyu Cheng, Dexin Wang, Xiaoxi Jiang, Guanjun Jiang

cs.AI

Samenvatting

Het uitrusten van Large Language Model (LLM)-agenten met domeinspecifieke vaardigheden is cruciaal voor het aanpakken van complexe taken. Toch vormt handmatige creatie een ernstige schaalbaarheidsbeperking. Automatische vaardigheidsgeneratie levert daarentegen vaak fragiele of gefragmenteerde resultaten op, omdat het ofwel vertrouwt op oppervlakkige parametrische kennis, ofwel sequentieel overfit op niet-generaliseerbare, traject-specifieke lessen. Om dit te overwinnen, introduceren we Trace2Skill, een raamwerk dat nabootst hoe menselijke experts vaardigheden creëren: door brede uitvoeringservaring holistisch te analyseren voordat deze wordt gedestilleerd tot één allesomvattende handleiding. In plaats van sequentieel te reageren op individuele trajecten, zet Trace2Skill een parallelle vloot van sub-agenten in om een diverse set uitvoeringen te analyseren. Het extraheert traject-specifieke lessen en consolideert deze hiërarchisch tot een uniforme, conflictvrije vaardigheidsdirectory via inductieve redenering. Trace2Skill ondersteunt zowel het verdiepen van bestaande, door mensen geschreven vaardigheden als het vanaf nul creëren van nieuwe. Experimenten in uitdagende domeinen, zoals spreadsheets, VisionQA en wiskundig redeneren, tonen aan dat Trace2Skill significant beter presteert dan sterke baseline-methoden, inclusief de officiële xlsx-vaardigheden van Anthropic. Cruciaal is dat deze op trajecten gebaseerde evolutie niet louter takenstappen of modelspecifieke eigenaardigheden memoriseert: geëvolueerde vaardigheden transfereren over verschillende LLM-schalen heen en generaliseren naar Out-of-Distribution (OOD) settings. Zo verbeterden vaardigheden, geëvolueerd door Qwen3.5-35B op zijn eigen trajecten, een Qwen3.5-122B-agent met tot wel 57,65 absolute procentpunten op WikiTableQuestions. Uiteindelijk tonen onze resultaten aan dat complexe agent-ervaring kan worden verpakt in hoogstwaarschijnlijk overdraagbare, declaratieve vaardigheden – zonder parameterupdates, zonder externe retrievalsmodules, en met gebruikmaking van open-source modellen zo klein als 35B parameters.

English

Equipping Large Language Model (LLM) agents with domain-specific skills is critical for tackling complex tasks. Yet, manual authoring creates a severe scalability bottleneck. Conversely, automated skill generation often yields fragile or fragmented results because it either relies on shallow parametric knowledge or sequentially overfits to non-generalizable trajectory-local lessons. To overcome this, we introduce Trace2Skill, a framework that mirrors how human experts author skills: by holistically analyzing broad execution experience before distilling it into a single, comprehensive guide. Instead of reacting sequentially to individual trajectories, Trace2Skill dispatches a parallel fleet of sub-agents to analyze a diverse pool of executions. It extracts trajectory-specific lessons and hierarchically consolidates them into a unified, conflict-free skill directory via inductive reasoning. Trace2Skill supports both deepening existing human-written skills and creating new ones from scratch. Experiments in challenging domains, such as spreadsheet, VisionQA and math reasoning, show that Trace2Skill significantly improves upon strong baselines, including Anthropic's official xlsx skills. Crucially, this trajectory-grounded evolution does not merely memorize task instances or model-specific quirks: evolved skills transfer across LLM scales and generalize to OOD settings. For example, skills evolved by Qwen3.5-35B on its own trajectories improved a Qwen3.5-122B agent by up to 57.65 absolute percentage points on WikiTableQuestions. Ultimately, our results demonstrate that complex agent experience can be packaged into highly transferable, declarative skills -- requiring no parameter updates, no external retrieval modules, and utilizing open-source models as small as 35B parameters.