За пределами стохастического исследования: что делает обучающие данные ценными для агентного поиска
Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search
April 9, 2026
Авторы: Chuzhan Hao, Wenfeng Feng, Guochao Jiang, Guofeng Quan, Guohua Liu, Yuewei Zhang
cs.AI
Аннотация
Подкрепленное обучение (ПО) стало эффективным подходом для расширения возможностей логического вывода больших языковых моделей (БЯМ) за счет стратегической интеграции внешних поисковых систем. Однако современные поисковые агенты на основе ПО часто полагаются на процесс стохастического исследования, направляемого тщательно разработанными вознаграждениями за результат, что приводит к неэффективным траекториям рассуждений и нестабильному обучению. Для решения этих проблем мы предлагаем новую структуру — Иерархический Опыт (HiExp), — предназначенную для повышения производительности и устойчивости обучения поисковых агентов. В частности, мы извлекаем эмпирические знания с помощью контрастного анализа и механизма многоуровневой кластеризации, преобразуя сырые траектории рассуждений в иерархические знания на основе опыта. Используя обучение, согласованное с опытом, мы эффективно регулируем стохастическое исследование, превращая его в стратегический и основанный на опыте поисковый процесс. Обширные оценки на нескольких сложных бенчмарках для агентского поиска и математических рассуждений демонстрируют, что наш подход не только обеспечивает существенное повышение производительности, но и проявляет сильную способность к межзадачной и межалгоритмической генерализации.
English
Reinforcement learning (RL) has become an effective approach for advancing the reasoning capabilities of large language models (LLMs) through the strategic integration of external search engines. However, current RL-based search agents often rely on a process of stochastic exploration guided by carefully crafted outcome rewards, leading to inefficient reasoning trajectories and unstable training. To address these issues, we propose a novel framework, Hierarchical Experience (HiExp), to enhance the performance and training stability of search agents. Specifically, we extract empirical knowledge through contrastive analysis and a multi-level clustering mechanism, transforming raw reasoning trajectories into hierarchical experience knowledge. By leveraging experience-aligned training, we effectively regularize stochastic exploration, evolving it into a strategic and experience-driven search process. Extensive evaluations on multiple complex agentic search and mathematical reasoning benchmarks demonstrate that our approach not only achieves substantial performance gains but also exhibits strong cross-task and cross-algorithm generalization.