Aprendizado por interação: Um Framework Centrado em Dados para Agentes Autoadaptativos em Ambientes Realistas

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Autores: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Resumo

Agentes autônomos alimentados por grandes modelos de linguagem (LLMs) têm o potencial de aprimorar as capacidades humanas, auxiliando em tarefas digitais, desde o envio de e-mails até a realização de análise de dados. As habilidades dos LLMs existentes nessas tarefas são frequentemente prejudicadas pela falta de dados de agente de alta qualidade dos ambientes correspondentes com os quais interagem. Propomos o Aprender-por-Interagir, um framework centrado em dados para adaptar agentes LLM a quaisquer ambientes dados sem anotações humanas. O Aprender-por-Interagir sintetiza trajetórias de interações agente-ambiente com base em documentações e constrói instruções resumindo ou abstraindo os históricos de interação, um processo chamado de construção reversa. Avaliamos a qualidade de nossos dados sintéticos ao utilizá-los em cenários baseados em treinamento e em aprendizado em contexto sem treinamento (ICL), onde desenvolvemos abordagens inovadoras de recuperação otimizadas para agentes. Experimentos extensivos em SWE-bench, WebArena, OSWorld e Spider2-V abrangendo ambientes realistas de codificação, web e desktop mostram a eficácia do Aprender-por-Interagir em várias tarefas agênticas subsequentes - os resultados de referência são melhorados em até 12,2\% para ICL com Claude-3.5 e 19,5\% para treinamento com Codestral-22B. Demonstramos ainda o papel crítico da construção reversa, que proporciona até 14,0\% de melhoria para o treinamento. Nossos estudos de ablação demonstram a eficiência proporcionada por nossos dados sintetizados em ICL e a superioridade de nosso pipeline de recuperação em relação a abordagens alternativas como a geração aumentada por recuperação convencional (RAG). Esperamos que o Aprender-por-Interagir sirva como base para a síntese de dados de agente à medida que os LLMs são cada vez mais implantados em ambientes do mundo real.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.