s3: Sie benötigen nicht so viele Daten, um einen Suchagenten mittels RL zu trainieren

s3: You Don't Need That Much Data to Train a Search Agent via RL

May 20, 2025

Autoren: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han

cs.AI

Zusammenfassung

Retrieval-augmented Generation (RAG)-Systeme ermöglichen es großen Sprachmodellen (LLMs), während der Inferenz auf externes Wissen zuzugreifen. Jüngste Fortschritte haben es LLMs erlaubt, durch Reinforcement Learning (RL) als Suchagenten zu agieren, wodurch der Informationserwerb durch mehrstufige Interaktionen mit Retrieval-Engines verbessert wird. Bestehende Ansätze optimieren jedoch entweder das Retrieval anhand von reinen Suchmetriken (z. B. NDCG), die den nachgelagerten Nutzen ignorieren, oder sie feintunen das gesamte LLM, um gleichzeitig zu schlussfolgern und abzurufen – was das Retrieval mit der Generierung verknüpft und den tatsächlichen Suchnutzen sowie die Kompatibilität mit eingefrorenen oder proprietären Modellen einschränkt. In dieser Arbeit stellen wir s3 vor, ein leichtgewichtiges, modellunabhängiges Framework, das den Sucher vom Generator entkoppelt und den Sucher mithilfe einer Gain Beyond RAG-Belohnung trainiert: der Verbesserung der Generierungsgenauigkeit gegenüber naivem RAG. s3 benötigt lediglich 2,4k Trainingsbeispiele, um Baseline-Modelle zu übertreffen, die mit über 70-mal mehr Daten trainiert wurden, und liefert durchweg bessere nachgelagerte Leistung über sechs allgemeine QA- und fünf medizinische QA-Benchmarks hinweg.

English

Retrieval-augmented generation (RAG) systems empower large language models (LLMs) to access external knowledge during inference. Recent advances have enabled LLMs to act as search agents via reinforcement learning (RL), improving information acquisition through multi-turn interactions with retrieval engines. However, existing approaches either optimize retrieval using search-only metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM to jointly reason and retrieve-entangling retrieval with generation and limiting the real search utility and compatibility with frozen or proprietary models. In this work, we propose s3, a lightweight, model-agnostic framework that decouples the searcher from the generator and trains the searcher using a Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG. s3 requires only 2.4k training samples to outperform baselines trained on over 70x more data, consistently delivering stronger downstream performance across six general QA and five medical QA benchmarks.