Jenseits stochastischer Exploration: Was Trainingsdaten für agentenbasierte Suche wertvoll macht
Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search
April 9, 2026
Autoren: Chuzhan Hao, Wenfeng Feng, Guochao Jiang, Guofeng Quan, Guohua Liu, Yuewei Zhang
cs.AI
Zusammenfassung
Reinforcement Learning (RL) hat sich als wirksamer Ansatz erwiesen, um die Reasoning-Fähigkeiten großer Sprachmodelle (LLMs) durch die strategische Integration externer Suchmaschinen zu verbessern. Allerdings stützen sich aktuelle, auf RL basierende Suchagenten häufig auf einen Prozess der stochastischen Exploration, der durch sorgfältig gestaltete Ergebnisbelohnungen gesteuert wird. Dies führt zu ineffizienten Reasoning-Pfaden und instabilem Training. Um diese Probleme zu adressieren, schlagen wir einen neuartigen Rahmen vor, Hierarchical Experience (HiExp), um die Leistung und Trainingsstabilität von Suchagenten zu steigern. Konkret extrahieren wir empirisches Wissen durch kontrastive Analyse und einen mehrstufigen Clustering-Mechanismus, wodurch rohe Reasoning-Pfade in hierarchisches Erfahrungswissen transformiert werden. Durch den Einsatz von erfahrungsbasiertem Training regularisieren wir wirksam die stochastische Exploration und entwickeln sie zu einem strategischen, erfahrungsgesteuerten Suchprozess weiter. Umfangreiche Evaluierungen auf mehreren komplexen Benchmarks für agentenbasierte Suche und mathematisches Reasoning zeigen, dass unser Ansatz nicht nur substantiale Leistungssteigerungen erzielt, sondern auch eine starke Generalisierung über Aufgaben und Algorithmen hinweg aufweist.
English
Reinforcement learning (RL) has become an effective approach for advancing the reasoning capabilities of large language models (LLMs) through the strategic integration of external search engines. However, current RL-based search agents often rely on a process of stochastic exploration guided by carefully crafted outcome rewards, leading to inefficient reasoning trajectories and unstable training. To address these issues, we propose a novel framework, Hierarchical Experience (HiExp), to enhance the performance and training stability of search agents. Specifically, we extract empirical knowledge through contrastive analysis and a multi-level clustering mechanism, transforming raw reasoning trajectories into hierarchical experience knowledge. By leveraging experience-aligned training, we effectively regularize stochastic exploration, evolving it into a strategic and experience-driven search process. Extensive evaluations on multiple complex agentic search and mathematical reasoning benchmarks demonstrate that our approach not only achieves substantial performance gains but also exhibits strong cross-task and cross-algorithm generalization.