Agent-Reflex: 언어 에이전트가 성찰적으로 행동하도록 가르치기

초록

대규모 언어 모델은 단일 턴 챗봇에서 장기 지평 추론이 가능한 상호작용 에이전트로 진화해 왔다. 실제 배포에서 MCP 도구 서비스는 잡음이 있는 피드백을 반환할 수 있고 사용자가 에이전트를 교정하기 위해 개입할 수 있지만, 기존 방법은 성찰 학습 및 실패 복구에 제한적인 감독을 제공한다. 이 격차를 해소하기 위해 우리는 에이전트의 주도적 성찰을 장려하는 일반 훈련 프레임워크인 Agent-Reflex를 제안한다. 구체적으로, Agent-Reflex는 세 단계로 구성된다. 첫째, 환경 성찰 기술 발견(RSD)은 근거 있는 도구 피드백 교란을 환경 스케일링에 주입하고, 능력이 다양한 LLM 풀을 샘플링하며, 매칭된 성공-실패 쌍을 마이닝하고, 재사용 가능한 성찰 메타 기술을 요약한다. 이 기술 라이브러리를 기반으로, 우리는 각 기술을 자기 성찰, 기술 복구, 사용자 중심 교정에 대한 감독으로 변환하는 성찰적 지도 미세 조정(ReSFT)을 적용하여 상호 보완적인 성찰 행동을 강화한다. 마지막으로, 우리는 잡음이 있는 상호작용 하에서의 에이전트 강화 학습과 성찰 유도 온-폴리시 증류를 결합하여 주도적 성찰을 더 이끌어내는 온-폴리시 성찰적 정책 최적화(ORPO)를 제안한다. Qwen3-8B를 기반으로, Agent-Reflex는 다섯 개의 장기 지평 도구 사용 벤치마크에서 전체 58.6을 달성하고 AgentNoiseBench에서 29.1을 달성하여 강력한 환경 스케일링 및 성찰 기준선을 능가한다. 여섯 개의 도전적인 에이전트 벤치마크 스위트에 대한 실험은 Agent-Reflex의 효과를 입증한다. 추가 분석은 Agent-Reflex가 안정적인 훈련 역학을 유지하면서 잡음에 대한 에이전트의 견고성을 향상시켜 확장 가능한 에이전트 훈련을 지원함을 보여준다. 우리의 코드는 https://github.com/RUC-NLPIR/Agent-Reflex에서 사용할 수 있다.

English

Large language models have evolved from single-turn chatbots into interactive agents capable of long-horizon reasoning. In real deployments, MCP tool services can return noisy feedback and users may intervene to correct the agent, but existing methods provide limited supervision for reflection learning and failure recovery. To bridge this gap, we propose Agent-Reflex, a general training framework for incentivizing proactive reflection in agents. Specifically, Agent-Reflex comprises three stages. First, Environment Reflection Skill Discovery (RSD) injects grounded tool-feedback perturbations into environment scaling, samples a capability-diverse LLM pool, mines matched success-failure pairs, and summarizes reusable reflection meta-skills. Building on this skill library, we then apply Reflective Supervised Fine-Tuning (ReSFT) that converts each skill into supervision for self-reflection, skill recovery, and user-centric correction, strengthening complementary reflective behaviors. Finally, we propose On-Policy Reflective Policy Optimization (ORPO) to combine agentic reinforcement learning under noisy interactions with reflection-guided on-policy distillation to further elicit proactive reflection. Built on Qwen3-8B, Agent-Reflex reaches 58.6 overall on five long-horizon tool-use benchmarks and 29.1 on AgentNoiseBench, surpassing strong environment-scaling and reflection baselines. Experiments on six challenging agent benchmark suites demonstrate the effectiveness of Agent-Reflex. Further analyses show that Agent-Reflex improves agents' robustness to noise while maintaining stable training dynamics, supporting scalable agent training. Our code is available at https://github.com/RUC-NLPIR/Agent-Reflex.

Agent-Reflex: 언어 에이전트가 성찰적으로 행동하도록 가르치기

Agent-Reflex: Teaching Language Agents to Act Reflectively

초록

Support