Apprendimento tramite interazione: un framework centrato sui dati per agenti auto-adattativi in ambienti realistici

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Autori: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Abstract

Gli agenti autonomi alimentati da grandi modelli linguistici (LLM) hanno il potenziale di potenziare le capacità umane, assistendo nelle attività digitali dall'invio di email all'esecuzione di analisi dei dati. Le capacità dei LLM esistenti in tali compiti sono spesso ostacolate dalla mancanza di dati di alta qualità degli agenti provenienti dagli ambienti corrispondenti con cui interagiscono. Proponiamo Learn-by-interact, un framework centrato sui dati per adattare gli agenti LLM a qualsiasi ambiente specifico senza annotazioni umane. Learn-by-interact sintetizza traiettorie di interazioni agente-ambiente basate sulla documentazione e costruisce istruzioni riassumendo o astrattando le storie di interazione, un processo chiamato costruzione inversa. Valutiamo la qualità dei nostri dati sintetici utilizzandoli sia in scenari basati su addestramento che nell'apprendimento in contesto senza addestramento (ICL), dove sviluppiamo approcci innovativi di recupero ottimizzati per gli agenti. Estesi esperimenti su SWE-bench, WebArena, OSWorld e Spider2-V che spaziano tra ambienti di codifica realistici, web e desktop mostrano l'efficacia di Learn-by-interact in vari compiti agentici successivi - i risultati di base migliorano fino al 12,2\% per ICL con Claude-3.5 e 19,5\% per l'addestramento con Codestral-22B. Dimostriamo inoltre il ruolo critico della costruzione inversa, che fornisce fino al 14,0\% di miglioramento per l'addestramento. I nostri studi di ablazione dimostrano l'efficienza fornita dai nostri dati sintetici in ICL e la superiorità del nostro pipeline di recupero rispetto ad approcci alternativi come la generazione con recupero potenziato (RAG) convenzionale. Ci aspettiamo che Learn-by-interact funga da fondamento per la sintesi dei dati degli agenti poiché i LLM vengono sempre più impiegati negli ambienti reali.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.