s3: Для обучения поискового агента с помощью RL не требуется так много данных

s3: You Don't Need That Much Data to Train a Search Agent via RL

May 20, 2025

Авторы: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han

cs.AI

Аннотация

Системы генерации с расширением поиска (RAG) позволяют крупным языковым моделям (LLM) получать доступ к внешним знаниям в процессе вывода. Последние достижения дали возможность LLM выступать в роли поисковых агентов с использованием обучения с подкреплением (RL), улучшая получение информации через многошаговое взаимодействие с поисковыми системами. Однако существующие подходы либо оптимизируют поиск с использованием метрик, ориентированных исключительно на поиск (например, NDCG), которые игнорируют полезность для последующих задач, либо тонко настраивают всю LLM для совместного рассуждения и поиска, что связывает поиск с генерацией и ограничивает реальную полезность поиска и совместимость с замороженными или проприетарными моделями. В данной работе мы предлагаем s3 — легковесную, модельно-независимую структуру, которая разделяет поисковый и генерационный компоненты и обучает поисковый компонент с использованием награды Gain Beyond RAG: улучшения точности генерации по сравнению с базовым RAG. s3 требует всего 2,4 тыс. обучающих примеров, чтобы превзойти базовые модели, обученные на более чем в 70 раз большем объеме данных, и стабильно демонстрирует более высокую производительность на шести общих QA и пяти медицинских QA бенчмарках.

English

Retrieval-augmented generation (RAG) systems empower large language models (LLMs) to access external knowledge during inference. Recent advances have enabled LLMs to act as search agents via reinforcement learning (RL), improving information acquisition through multi-turn interactions with retrieval engines. However, existing approaches either optimize retrieval using search-only metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM to jointly reason and retrieve-entangling retrieval with generation and limiting the real search utility and compatibility with frozen or proprietary models. In this work, we propose s3, a lightweight, model-agnostic framework that decouples the searcher from the generator and trains the searcher using a Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG. s3 requires only 2.4k training samples to outperform baselines trained on over 70x more data, consistently delivering stronger downstream performance across six general QA and five medical QA benchmarks.