Apprentissage par interaction : un cadre centré sur les données pour les agents auto-adaptatifs dans des environnements réalistes

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Auteurs: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Résumé

Les agents autonomes alimentés par de grands modèles de langage (LLM) ont le potentiel d'améliorer les capacités humaines, en assistant dans des tâches numériques allant de l'envoi d'e-mails à l'analyse de données. Les capacités des LLM existants dans de telles tâches sont souvent entravées par le manque de données d'agent de haute qualité provenant des environnements correspondants avec lesquels ils interagissent. Nous proposons l'approche d'apprentissage par interaction, un cadre centré sur les données pour adapter les agents LLM à n'importe quel environnement donné sans annotations humaines. L'apprentissage par interaction synthétise des trajectoires d'interactions agent-environnement basées sur des documentations, et construit des instructions en résumant ou en abstrayant les historiques d'interaction, un processus appelé construction rétrograde. Nous évaluons la qualité de nos données synthétiques en les utilisant à la fois dans des scénarios basés sur l'entraînement et dans l'apprentissage en contexte sans entraînement (ICL), où nous concevons des approches de récupération innovantes optimisées pour les agents. Des expériences approfondies sur SWE-bench, WebArena, OSWorld et Spider2-V couvrant des environnements de codage, web et de bureau réalistes montrent l'efficacité de l'approche d'apprentissage par interaction dans diverses tâches agentic en aval -- les résultats de base sont améliorés jusqu'à 12,2\% pour l'ICL avec Claude-3.5 et 19,5\% pour l'entraînement avec Codestral-22B. Nous démontrons en outre le rôle critique de la construction rétrograde, qui offre jusqu'à 14,0\% d'amélioration pour l'entraînement. Nos études d'ablation montrent l'efficacité fournie par nos données synthétisées dans l'ICL et la supériorité de notre pipeline de récupération par rapport à des approches alternatives comme la génération augmentée par récupération conventionnelle (RAG). Nous prévoyons que l'approche d'apprentissage par interaction servira de base pour la synthèse de données d'agent alors que les LLM sont de plus en plus déployés dans des environnements réels.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.