ET-Agent：行動較正による効果的なツール統合推論エージェントのインセンティブ設計

ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration

January 11, 2026

著者: Yifei Chen, Guanting Dong, Zhicheng Dou

cs.AI

要旨

大規模言語モデル（LLM）は、ツール統合推論（TIR）パラダイムを採用することで、パラメータ知識の限界を拡張できる。しかし、既存のLLMベースのエージェント学習フレームワークは、回答の正確性に重点を置くことが多く、行動パターンへの特定のアライメントを見落としている。その結果、エージェントはTIRタスク実行時に、冗長なツール呼び出しや不十分なツール呼び出しといった非効率な行動を示すことが多い。TIRタスク実行時の誤った行動パターンを較正し、それによって効果的な軌道を探索する方法は、未解決の問題である。本論文では、ET-Agentを提案する。これは、自己進化型データフライホイールと行動較正学習という2つの相補的視点から、エージェントのツール利用行動を較正する学習フレームワークである。具体的には、自己進化的なデータフライホイールを導入して強化データを生成し、LLMの微調整に用いることでその探索能力を向上させる。これに基づき、誤った行動パターンを最適な行動へと段階的に較正するように設計された、2段階の行動較正学習フレームワークを実装する。さらに詳細な実験により、ET-Agentが正確性、効率性、推論の簡潔性、ツール実行精度といった複数の次元で優位性を持つことを確認する。我々のET-Agentフレームワークは、TIR分野の研究に実用的な知見を提供する。コードはhttps://github.com/asilverlight/ET-Agent で公開されている。

English

Large Language Models (LLMs) can extend their parameter knowledge limits by adopting the Tool-Integrated Reasoning (TIR) paradigm. However, existing LLM-based agent training framework often focuses on answers' accuracy, overlooking specific alignment for behavior patterns. Consequently, agent often exhibits ineffective actions during TIR tasks, such as redundant and insufficient tool calls. How to calibrate erroneous behavioral patterns when executing TIR tasks, thereby exploring effective trajectories, remains an open-ended problem. In this paper, we propose ET-Agent, a training framework for calibrating agent's tool-use behavior through two synergistic perspectives: Self-evolving Data Flywheel and Behavior Calibration Training. Specifically, we introduce a self-evolutionary data flywheel to generate enhanced data, used to fine-tune LLM to improve its exploration ability. Based on this, we implement an two-phases behavior-calibration training framework. It is designed to progressively calibrate erroneous behavioral patterns to optimal behaviors. Further in-depth experiments confirm the superiority of across multiple dimensions, including correctness, efficiency, reasoning conciseness, and tool execution accuracy. Our ET-Agent framework provides practical insights for research in the TIR field. Codes can be found in https://github.com/asilverlight/ET-Agent