API呼び出しエージェントのための環境不要な合成データ生成

要旨

API呼び出しを行う大規模言語モデル（LLM）エージェントの訓練には、大量の高品質な軌跡（trajectories）が必要である。しかし、このようなデータを大規模に収集するには通常、実行可能なAPIを備えた完全に実装された環境と、現実的で事前にデータが投入されたバックエンドデータベースが必要であり、これがスケーラビリティの大きなボトルネックとなっている。この問題を解決するために、我々はLLMを即席のデジタル世界モデルとして活用する、環境不要な合成データ生成手法を提案する。API仕様のみが与えられれば、本手法はエージェントと状態を持つ環境との間の相互作用を模倣した軌跡を生成する。具体的には、まずLLMが提供されたAPIで解決可能な多様なタスクを生成する。次に、教師エージェントが各タスクを反復的に解決し、その間、LLMシミュレータがタスクコンテキストとシミュレーション履歴に基づいて一貫性のある合成APIレスポンスを生成する。最後に、LLM判定器が軌跡をフィルタリングし、得られたデータセットの品質を保証する。我々は本手法を、情報検索タスクと状態変更タスクの両方を含む難易度の高いAppWorldおよびOfficeBenchベンチマークで評価した。合成データでモデルをファインチューニングしたところ、顕著な性能向上が得られ、実行可能な環境を一切必要とせずにAPI呼び出しエージェントに対する効果的な教師信号を生成できることが示された。この結果は、LLMベースのAPIシミュレーションが、多様なAPIエコシステムにわたるエージェント訓練のための実用的でスケーラブルなソリューションであることを確立する。

English

Training API-calling large language model (LLM) agents demands massive amounts of high-quality trajectories. However, collecting such data at scale typically requires fully implemented environments with executable APIs and realistic, pre-populated backend databases, creating a major bottleneck for scalability. To overcome this, we propose an environment-free synthetic data generation approach that leverages LLMs as on-the-fly digital world models. Given only API specifications, our method generates trajectories mimicking interactions between an agent and a stateful environment. Specifically, an LLM first generates diverse tasks solvable with the provided APIs. A teacher agent then iteratively solves each task while an LLM simulator generates coherent synthetic API responses conditioned on the task context and simulation history. Finally, an LLM judge filters the trajectories to ensure the quality of the resulting dataset. We evaluate our approach on the challenging AppWorld and OfficeBench benchmarks, which include both information-retrieval and state-changing tasks. Fine-tuning models on our synthetic data yields significant performance gains, demonstrating that effective supervision for API-calling agents can be generated without any executable environment. Our results establish LLM-based API simulation as a practical, scalable solution for training agents across diverse API ecosystems.