Selbstherausfordernde Sprachmodell-Agenten

Self-Challenging Language Model Agents

June 2, 2025

Autoren: Yifei Zhou, Sergey Levine, Jason Weston, Xian Li, Sainbayar Sukhbaatar

cs.AI

Zusammenfassung

Große Sprachmodelle werden zunehmend zur Grundlage für intelligente Agenten, die in der Lage sind, Werkzeuge zu nutzen. Die Ausbildung solcher Agenten ist jedoch eine Herausforderung, da sie die menschliche Erstellung und Annotation einer Vielzahl von Aufgaben, Werkzeugen und Bewertungskriterien erfordert. In diesem Artikel schlagen wir das Self-Challenging-Framework vor, um einen Agenten an hochwertigen Aufgaben zu trainieren, die er selbst generiert. Der Agent übernimmt zunächst die Rolle des Herausforderers und erstellt eine Aufgabe nach der Interaktion mit den gegebenen Werkzeugen. Die Aufgaben nehmen die Form einer neuartigen allgemeinen Problemklasse an, die als Code-as-Task bezeichnet wird und durch eine Anweisung, eine Verifizierungsfunktion sowie Lösungs- und Fehlerfälle definiert ist, die als Tests dienen und es ermöglichen, nur hochwertige Aufgaben zu filtern. Anschließend übernimmt der Agent die Rolle des Ausführers und trainiert an diesen Aufgaben mit Verstärkungslernen, wobei das Bewertungsfeedback als Belohnung dient. Die Evaluierung auf zwei bestehenden Benchmarks für mehrstufige Werkzeugnutzung, M3ToolEval und TauBench, zeigt, dass das Self-Challenging-Framework eine mehr als zweifache Verbesserung in Llama-3.1-8B-Instruct erreicht, obwohl nur selbstgenerierte Trainingsdaten verwendet werden.

English

Large language models are quickly becoming the foundation for intelligent agents that are capable of using tools. However, training such agents is challenging because it requires human creation and annotation of a diverse set of tasks, tools, and evaluation criteria. In this paper, we propose the Self-Challenging framework for training an agent on high-quality tasks that are generated by itself. The agent first plays the role of challenger and generates a task after interacting with the given tools. The tasks take the form of a novel general class of problems termed Code-as-Task, which are defined by an instruction, a verification function and solution and failure cases which serve as tests, allowing to filter only for high-quality tasks. The agent then takes an executor role and trains on those tasks with reinforcement learning using the evaluation feedback as a reward. Evaluation on two existing multi-turn tool-use agent benchmarks, M3ToolEval and TauBench, shows the Self-Challenging framework achieves over a two-fold improvement in Llama-3.1-8B-Instruct, despite using only self-generated training data.