Aprendizaje por interacción: Un marco centrado en datos para agentes autoadaptativos en entornos realistas

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Autores: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Resumen

Los agentes autónomos impulsados por grandes modelos de lenguaje (LLMs) tienen el potencial de mejorar las capacidades humanas, asistiendo en tareas digitales desde enviar correos electrónicos hasta realizar análisis de datos. Las habilidades de los LLMs existentes en tales tareas suelen ser obstaculizadas por la falta de datos de alta calidad del agente provenientes de los entornos correspondientes con los que interactúan. Proponemos Aprender-por-interactuar, un marco centrado en datos para adaptar agentes LLM a cualquier entorno dado sin anotaciones humanas. Aprender-por-interactuar sintetiza trayectorias de interacciones agente-entorno basadas en documentaciones, y construye instrucciones mediante la síntesis o abstracción de historiales de interacción, un proceso llamado construcción inversa. Evaluamos la calidad de nuestros datos sintéticos utilizándolos tanto en escenarios basados en entrenamiento como en aprendizaje en contexto sin entrenamiento (ICL), donde diseñamos enfoques de recuperación innovadores optimizados para agentes. Experimentos extensos en SWE-bench, WebArena, OSWorld y Spider2-V que abarcan entornos realistas de codificación, web y de escritorio muestran la efectividad de Aprender-por-interactuar en diversas tareas agénticas posteriores -- los resultados base se mejoran hasta un 12.2\% para ICL con Claude-3.5 y un 19.5\% para entrenamiento con Codestral-22B. Además, demostramos el papel crítico de la construcción inversa, que proporciona hasta un 14.0\% de mejora para el entrenamiento. Nuestros estudios de ablación demuestran la eficiencia proporcionada por nuestros datos sintetizados en ICL y la superioridad de nuestra canalización de recuperación sobre enfoques alternativos como la generación aumentada por recuperación convencional (RAG). Esperamos que Aprender-por-interactuar sirva como una base para la síntesis de datos de agentes a medida que los LLMs se despliegan cada vez más en entornos del mundo real.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.