学習による相互作用：現実的な環境における自己適応エージェントのためのデータ中心フレームワーク

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

著者: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

要旨

大規模言語モデル（LLM）によって駆動される自律エージェントは、電子メールの送信からデータ解析の実行までのデジタルタスクを支援し、人間の能力を向上させる潜在能力を持っています。既存のLLMがこれらのタスクでの能力を発揮することがしばしば妨げられるのは、それらが相互作用する環境からの高品質なエージェントデータが不足しているためです。本研究では、人間の注釈なしでLLMエージェントを任意の環境に適応させるためのデータ中心のフレームワークである「Learn-by-interact」を提案します。Learn-by-interactは、エージェント-環境の相互作用の軌跡を文書に基づいて合成し、相互作用履歴を要約または抽象化して指示を構築する、逆構築と呼ばれるプロセスを行います。我々は、これらの合成データの品質を、トレーニングベースのシナリオとトレーニングフリーのインコンテキストラーニング（ICL）の両方で使用することによって評価します。ここでは、エージェントに最適化された革新的なリトリーバルアプローチを作成します。SWE-bench、WebArena、OSWorld、およびSpider2-Vにまたがる実在のコーディング、Web、およびデスクトップ環境での幅広い実験により、Learn-by-interactの効果が示されました。ICLではClaude-3.5に対して最大12.2\%、Codestral-22Bに対してトレーニングでは最大19.5\%のベースライン結果が改善されました。さらに、逆構築が提供する効果の重要性を示し、トレーニングに対して最大14.0\%の改善が得られました。また、私たちの合成データによるICLにおける効率性と、代替手法である従来のリトリーバル拡張生成（RAG）に対する私たちのリトリーバルパイプラインの優越性を示す消去研究を行いました。我々は、Learn-by-interactが、LLMが実世界環境でますます展開される中で、エージェントデータ合成の基盤として機能すると期待しています。

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.