Agents de Modèles de Langage Auto-Défiants

Self-Challenging Language Model Agents

June 2, 2025

Auteurs: Yifei Zhou, Sergey Levine, Jason Weston, Xian Li, Sainbayar Sukhbaatar

cs.AI

Résumé

Les grands modèles de langage deviennent rapidement la base d'agents intelligents capables d'utiliser des outils. Cependant, l'entraînement de tels agents est complexe, car il nécessite la création et l'annotation par des humains d'un ensemble diversifié de tâches, d'outils et de critères d'évaluation. Dans cet article, nous proposons le cadre Self-Challenging pour entraîner un agent sur des tâches de haute qualité générées par lui-même. L'agent joue d'abord le rôle de challenger et génère une tâche après avoir interagi avec les outils donnés. Les tâches prennent la forme d'une nouvelle classe générale de problèmes appelée Code-as-Task, définie par une instruction, une fonction de vérification, ainsi que des cas de solution et d'échec qui servent de tests, permettant de filtrer uniquement les tâches de haute qualité. L'agent endosse ensuite le rôle d'exécuteur et s'entraîne sur ces tâches en utilisant l'apprentissage par renforcement, avec les retours d'évaluation comme récompense. L'évaluation sur deux benchmarks existants d'agents multi-tours utilisant des outils, M3ToolEval et TauBench, montre que le cadre Self-Challenging permet une amélioration de plus du double sur Llama-3.1-8B-Instruct, malgré l'utilisation de données d'entraînement uniquement auto-générées.

English

Large language models are quickly becoming the foundation for intelligent agents that are capable of using tools. However, training such agents is challenging because it requires human creation and annotation of a diverse set of tasks, tools, and evaluation criteria. In this paper, we propose the Self-Challenging framework for training an agent on high-quality tasks that are generated by itself. The agent first plays the role of challenger and generates a task after interacting with the given tools. The tasks take the form of a novel general class of problems termed Code-as-Task, which are defined by an instruction, a verification function and solution and failure cases which serve as tests, allowing to filter only for high-quality tasks. The agent then takes an executor role and trains on those tasks with reinforcement learning using the evaluation feedback as a reward. Evaluation on two existing multi-turn tool-use agent benchmarks, M3ToolEval and TauBench, shows the Self-Challenging framework achieves over a two-fold improvement in Llama-3.1-8B-Instruct, despite using only self-generated training data.