Voorbij Stochastische Exploratie: Wat Trainingsgegevens Waardevol Maakt voor Agent-gedreven Zoekopdrachten
Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search
April 9, 2026
Auteurs: Chuzhan Hao, Wenfeng Feng, Guochao Jiang, Guofeng Quan, Guohua Liu, Yuewei Zhang
cs.AI
Samenvatting
Versterkingsleren (RL) is een effectieve benadering geworden om de redeneervaardigheden van grote taalmodellen (LLM's) te verbeteren door de strategische integratie van externe zoekmachines. Huidige RL-gebaseerde zoekagenten vertrouwen echter vaak op een proces van stochastische exploratie, geleid door zorgvuldig ontworpen uitkomstbeloningen, wat leidt tot inefficiënte redeneertrajecten en instabiele training. Om deze problemen aan te pakken, stellen we een nieuw raamwerk voor, Hierarchical Experience (HiExp), om de prestaties en trainingsstabiliteit van zoekagenten te verbeteren. Concreet extraheren we empirische kennis door middel van contrastieve analyse en een multi-level clusteringmechanisme, waarbij we ruwe redeneertrajecten omzetten in hiërarchische ervaringskennis. Door gebruik te maken van ervaringsgericht trainen, reguleren we effectief stochastische exploratie en evolueert deze naar een strategisch en ervaringsgestuurd zoekproces. Uitgebreide evaluaties op meerdere complexe benchmarks voor agentgestuurd zoeken en wiskundig redeneren tonen aan dat onze aanpak niet alleen aanzienlijke prestatieverbeteringen bereikt, maar ook sterke generalisatie vertoont over taken en algoritmen heen.
English
Reinforcement learning (RL) has become an effective approach for advancing the reasoning capabilities of large language models (LLMs) through the strategic integration of external search engines. However, current RL-based search agents often rely on a process of stochastic exploration guided by carefully crafted outcome rewards, leading to inefficient reasoning trajectories and unstable training. To address these issues, we propose a novel framework, Hierarchical Experience (HiExp), to enhance the performance and training stability of search agents. Specifically, we extract empirical knowledge through contrastive analysis and a multi-level clustering mechanism, transforming raw reasoning trajectories into hierarchical experience knowledge. By leveraging experience-aligned training, we effectively regularize stochastic exploration, evolving it into a strategic and experience-driven search process. Extensive evaluations on multiple complex agentic search and mathematical reasoning benchmarks demonstrate that our approach not only achieves substantial performance gains but also exhibits strong cross-task and cross-algorithm generalization.