LoopTool: 堅牢なLLMツール呼び出しのためのデータとトレーニングのループを閉じる
LoopTool: Closing the Data-Training Loop for Robust LLM Tool Calls
November 12, 2025
著者: Kangning Zhang, Wenxiang Jiao, Kounianhua Du, Yuan Lu, Weiwen Liu, Weinan Zhang, Lei Zhang, Yong Yu
cs.AI
要旨
大規模言語モデル（LLM）に外部ツールを組み込むことで、複雑な多段階タスクの実行が可能となる。しかし、ツール学習は現在、データ生成とモデル学習が分離された非対話的な静的合成データパイプラインによって妨げられている。この手法では、モデルの特定の弱点に適応的に焦点を当てることができず、ノイズの多いラベルが残存するため、学習効率が低下する。本研究では、データ合成とモデル学習を緊密に統合し、このループを閉じる完全自動化されたモデル認識型データ進化フレームワーク「LoopTool」を提案する。LoopToolは、3つの連携モジュールを通じてデータとモデルを反復的に改善する：（1）貪欲能力プロービング（GCP）はモデルの習得済み能力と失敗能力を診断し、（2）判断誘導型ラベル検証（JGLV）はオープンソースの判定モデルを用いて注記エラーを発見・修正し、データセットを段階的に浄化する。（3）エラー駆動型データ拡張（EDDE）は特定された失敗に基づいて新たな難易度の高いサンプルを生成する。この閉ループプロセスはコスト効率の良いオープンソースエコシステム内で動作し、高価なクローズドソースAPIへの依存を排除する。実験により、LoopToolで学習した8Bモデルが、32Bのデータ生成モデルを大幅に上回り、BFCL-v3およびACEBenchベンチマークにおいて同規模モデルとして新たなstate-of-the-artを達成することを示す。本研究は、閉ループ型の自己改善データパイプラインがLLMのツール利用能力を劇的に強化できることを実証する。
English
Augmenting Large Language Models (LLMs) with external tools enables them to execute complex, multi-step tasks. However, tool learning is hampered by the static synthetic data pipelines where data generation and model training are executed as two separate, non-interactive processes. This approach fails to adaptively focus on a model's specific weaknesses and allows noisy labels to persist, degrading training efficiency. We introduce LoopTool, a fully automated, model-aware data evolution framework that closes this loop by tightly integrating data synthesis and model training. LoopTool iteratively refines both the data and the model through three synergistic modules: (1) Greedy Capability Probing (GCP) diagnoses the model's mastered and failed capabilities; (2) Judgement-Guided Label Verification (JGLV) uses an open-source judge model to find and correct annotation errors, progressively purifying the dataset; and (3) Error-Driven Data Expansion (EDDE) generates new, challenging samples based on identified failures. This closed-loop process operates within a cost-effective, open-source ecosystem, eliminating dependence on expensive closed-source APIs. Experiments show that our 8B model trained with LoopTool significantly surpasses its 32B data generator and achieves new state-of-the-art results on the BFCL-v3 and ACEBench benchmarks for its scale. Our work demonstrates that closed-loop, self-refining data pipelines can dramatically enhance the tool-use capabilities of LLMs.