Zelf-uitdagende Taalmodelagenten

Self-Challenging Language Model Agents

June 2, 2025

Auteurs: Yifei Zhou, Sergey Levine, Jason Weston, Xian Li, Sainbayar Sukhbaatar

cs.AI

Samenvatting

Grote taalmodellen worden snel de basis voor intelligente agents die in staat zijn om tools te gebruiken. Het trainen van dergelijke agents is echter uitdagend omdat het de menselijke creatie en annotatie van een diverse set taken, tools en evaluatiecriteria vereist. In dit artikel stellen we het Self-Challenging framework voor om een agent te trainen op hoogwaardige taken die door de agent zelf worden gegenereerd. De agent neemt eerst de rol van uitdager aan en genereert een taak na interactie met de gegeven tools. De taken nemen de vorm aan van een nieuwe algemene klasse van problemen, genaamd Code-as-Task, die worden gedefinieerd door een instructie, een verificatiefunctie en oplossingen en foutgevallen die als tests dienen, waardoor alleen hoogwaardige taken worden gefilterd. De agent neemt vervolgens de rol van uitvoerder aan en traint op deze taken met reinforcement learning, waarbij de evaluatiefeedback als beloning wordt gebruikt. Evaluatie op twee bestaande benchmarks voor multi-turn tool-gebruikende agents, M3ToolEval en TauBench, toont aan dat het Self-Challenging framework een meer dan tweevoudige verbetering bereikt in Llama-3.1-8B-Instruct, ondanks het gebruik van alleen zelf gegenereerde trainingsdata.

English

Large language models are quickly becoming the foundation for intelligent agents that are capable of using tools. However, training such agents is challenging because it requires human creation and annotation of a diverse set of tasks, tools, and evaluation criteria. In this paper, we propose the Self-Challenging framework for training an agent on high-quality tasks that are generated by itself. The agent first plays the role of challenger and generates a task after interacting with the given tools. The tasks take the form of a novel general class of problems termed Code-as-Task, which are defined by an instruction, a verification function and solution and failure cases which serve as tests, allowing to filter only for high-quality tasks. The agent then takes an executor role and trains on those tasks with reinforcement learning using the evaluation feedback as a reward. Evaluation on two existing multi-turn tool-use agent benchmarks, M3ToolEval and TauBench, shows the Self-Challenging framework achieves over a two-fold improvement in Llama-3.1-8B-Instruct, despite using only self-generated training data.