Обучение через взаимодействие: данные-центрическая платформа для самоадаптивных агентов в Реалистичных средах

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Авторы: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Аннотация

Автономные агенты, работающие на основе больших языковых моделей (БЯМ), имеют потенциал улучшить человеческие возможности, помогая в цифровых задачах, начиная от отправки электронных писем до выполнения анализа данных. Возможности существующих БЯМ в таких задачах часто ограничены отсутствием качественных данных агента из соответствующих сред, с которыми они взаимодействуют. Мы предлагаем метод обучения через взаимодействие, центрированный на данных, для адаптации агентов БЯМ к любым данным средам без участия человека. Метод обучения через взаимодействие синтезирует траектории взаимодействия агента со средой на основе документации и создает инструкции, суммируя или абстрагируя историю взаимодействия, процесс, называемый обратным построением. Мы оцениваем качество наших синтетических данных, используя их как в сценариях обучения, так и в обучении в контексте без обучения (ICL), где мы разрабатываем инновационные подходы к извлечению, оптимизированные для агентов. Обширные эксперименты на SWE-bench, WebArena, OSWorld и Spider2-V, охватывающие реалистичные среды кодирования, веб-среды и рабочие столы, показывают эффективность метода обучения через взаимодействие в различных последующих задачах агентов - базовые результаты улучшаются до 12,2\% для ICL с Claude-3.5 и до 19,5\% для обучения с Codestral-22B. Мы также демонстрируем критическую роль обратного построения, которое обеспечивает улучшение до 14,0\% для обучения. Наши исследования абляции показывают эффективность, обеспечиваемую нашими синтетическими данными в ICL, и превосходство нашего процесса извлечения над альтернативными подходами, такими как обычное извлечение с генерацией (RAG). Мы ожидаем, что метод обучения через взаимодействие станет основой для синтеза данных агента, поскольку БЯМ все чаще развертываются в реальных средах.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.