s3: Je hebt niet zoveel data nodig om een zoekagent te trainen via RL
s3: You Don't Need That Much Data to Train a Search Agent via RL
May 20, 2025
Auteurs: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han
cs.AI
Samenvatting
Retrieval-augmented generation (RAG)-systemen stellen grote taalmmodellen (LLMs) in staat om tijdens inferentie toegang te krijgen tot externe kennis. Recente vooruitgang heeft het mogelijk gemaakt dat LLMs als zoekagenten kunnen fungeren via reinforcement learning (RL), waardoor informatieverwerving wordt verbeterd door middel van meerronde interacties met retrievalsystemen. Bestaande benaderingen optimaliseren echter het retrievalproces met behulp van zoekgerichte metrieken (bijv. NDCG) die de downstream-nuttigheid negeren, of fine-tunen het gehele LLM om gezamenlijk te redeneren en te retrieven, wat retrieval verstrengelt met generatie en de werkelijke zoeknut en compatibiliteit met bevroren of propriëtaire modellen beperkt. In dit werk stellen we s3 voor, een lichtgewicht, model-agnostisch raamwerk dat de zoeker ontkoppelt van de generator en de zoeker traint met een Gain Beyond RAG-beloning: de verbetering in generatienauwkeurigheid ten opzichte van naïeve RAG. s3 vereist slechts 2,4k trainingsamples om baseline-modellen te overtreffen die zijn getraind op meer dan 70x zoveel data, en levert consequent betere downstream-prestaties op over zes algemene QA- en vijf medische QA-benchmarks.
English
Retrieval-augmented generation (RAG) systems empower large language models
(LLMs) to access external knowledge during inference. Recent advances have
enabled LLMs to act as search agents via reinforcement learning (RL), improving
information acquisition through multi-turn interactions with retrieval engines.
However, existing approaches either optimize retrieval using search-only
metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM
to jointly reason and retrieve-entangling retrieval with generation and
limiting the real search utility and compatibility with frozen or proprietary
models. In this work, we propose s3, a lightweight, model-agnostic framework
that decouples the searcher from the generator and trains the searcher using a
Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG.
s3 requires only 2.4k training samples to outperform baselines trained on over
70x more data, consistently delivering stronger downstream performance across
six general QA and five medical QA benchmarks.