Agent-Reflex：言語エージェントに内省的に行動するよう教える

Agent-Reflex: Teaching Language Agents to Act Reflectively

October 13, 2026

著者: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, Yifei Chen, Xiaoxi Li, Jiejun Tan, Yutao Zhu, Tat-Seng Chua, Ji-Rong Wen, Zhicheng Dou

cs.AI

要旨

大規模言語モデルは、単一ターンのチャットボットから、長期的推論が可能な対話型エージェントへと進化してきた。実運用では、MCPツールサービスがノイズを含むフィードバックを返すことがあり、またユーザーが介入してエージェントを修正することもあるが、既存手法はリフレクション学習と失敗回復に対する監督が限定的である。このギャップを埋めるため、我々はエージェントにおける能動的リフレクションを促す汎用訓練フレームワークであるAgent-Reflexを提案する。具体的には、Agent-Reflexは3つの段階からなる。第一に、環境リフレクションスキル発見（RSD）は、環境スケーリングに実環境に根ざしたツールフィードバック摂動を注入し、能力の多様なLLMプールをサンプリングし、対応する成功・失敗ペアをマイニングし、再利用可能なリフレクションメタスキルを要約する。このスキルライブラリに基づき、次に各スキルを自己リフレクション、スキル回復、ユーザー中心の修正のための監督に変換するリフレクティブ教師あり微調整（ReSFT）を適用し、相補的なリフレクティブ行動を強化する。最後に、ノイズの多い相互作用下でのエージェント型強化学習と、リフレクション誘導によるオンポリシー蒸留を組み合わせ、能動的リフレクションをさらに引き出すオンポリシー・リフレクティブ方策最適化（ORPO）を提案する。Qwen3-8Bを基盤とし、Agent-Reflexは5つの長期的ツール利用ベンチマークで総合58.6、AgentNoiseBenchで29.1を達成し、強力な環境スケーリングおよびリフレクションのベースラインを上回る。6つの挑戦的なエージェントベンチマークスイートでの実験は、Agent-Reflexの有効性を示している。さらなる分析により、Agent-Reflexが安定した訓練ダイナミクスを維持しつつ、エージェントのノイズに対する頑健性を向上させ、スケーラブルなエージェント訓練を支えることが示される。我々のコードはhttps://github.com/RUC-NLPIR/Agent-Reflexで入手可能である。

English

Large language models have evolved from single-turn chatbots into interactive agents capable of long-horizon reasoning. In real deployments, MCP tool services can return noisy feedback and users may intervene to correct the agent, but existing methods provide limited supervision for reflection learning and failure recovery. To bridge this gap, we propose Agent-Reflex, a general training framework for incentivizing proactive reflection in agents. Specifically, Agent-Reflex comprises three stages. First, Environment Reflection Skill Discovery (RSD) injects grounded tool-feedback perturbations into environment scaling, samples a capability-diverse LLM pool, mines matched success-failure pairs, and summarizes reusable reflection meta-skills. Building on this skill library, we then apply Reflective Supervised Fine-Tuning (ReSFT) that converts each skill into supervision for self-reflection, skill recovery, and user-centric correction, strengthening complementary reflective behaviors. Finally, we propose On-Policy Reflective Policy Optimization (ORPO) to combine agentic reinforcement learning under noisy interactions with reflection-guided on-policy distillation to further elicit proactive reflection. Built on Qwen3-8B, Agent-Reflex reaches 58.6 overall on five long-horizon tool-use benchmarks and 29.1 on AgentNoiseBench, surpassing strong environment-scaling and reflection baselines. Experiments on six challenging agent benchmark suites demonstrate the effectiveness of Agent-Reflex. Further analyses show that Agent-Reflex improves agents' robustness to noise while maintaining stable training dynamics, supporting scalable agent training. Our code is available at https://github.com/RUC-NLPIR/Agent-Reflex.