共同匹配：以強化學習共同演化生成式檢索器摘要大型語言模型（LLMs）的檢索增強生成（RAG）常將生成式檢索器與生成器視為兩個獨立模組，以兩階段流程運作，因而限制了兩者間的協同潛力。我們認為，生成式檢索器與生成器本質上具有協同關係，可相互增強：檢索器提供與任務相關且具備知識價值的文檔，以提升生成品質，而生成器則提供學習信號，以引導檢索器的優化。基於此洞見，我們提出了一種新穎框架，用於檢索與生成的聯合強化學習共同演化。在該框架中，我們採用上下文蒸餾初始化生成式檢索器的LLM，透過基於課程的強化學習微調檢索器，並交替優化檢索器與生成器。此方法使檢索器與生成器相互演化，顯著提升回應生成的品質。

摘要

檢索是現代搜尋與廣告系統的第一階段，負責從龐大的物品空間中選出候選集合，以供下游排序與拍賣使用。近期研究日益利用大語言模型（LLM），透過查詢擴展、資料合成與檢索回饋訓練來改善檢索。然而，生成元件通常僅用於查詢端擴充，最終匹配仍交由下游檢索器處理。我們提出 CoGR，這是一個檢索框架，改而訓練 LLM 在查詢端與物品端直接建構檢索表徵。每個生成器產出一組精簡的關鍵字，並透過反向索引直接進行匹配，從而保留與既有關鍵字檢索基礎設施的相容性。CoGR 採用兩階段訓練流程：先以監督式微調建立對齊的關鍵字空間，接著透過共同演化強化學習，以 GRPO 針對查詢端與物品端生成器進行交替最佳化，並以對側的凍結索引為固定基準。兩端皆最佳化相同的「查詢到物品」檢索 F1 目標：查詢端直接取得檢索 F1；物品端則獲得反事實邊際獎勵，用以衡量其生成關鍵字對查詢端 F1 所造成的變化。在 10 個具代表性的稀疏、稠密與生成式基準方法中，CoGR 在內部 APP Marketplace 資料集與公開的 WANDS 基準上皆達成最佳效能，相較最強基準方法，F1 分別提升了 10.9% 與 36.1%。進一步分析顯示，訓練過程中共同演化保持穩定，且查詢端與物品端的關鍵字空間日益對齊。

English

Retrieval is the first stage of modern search and advertising systems, selecting a candidate set from a large item universe for downstream ranking and auction. Recent work increasingly leverages LLMs to improve retrieval through query expansion, data synthesis, and retrieval-feedback training. However, the generative component is typically used for query-side augmentation, while final matching is still delegated to a downstream retriever. We introduce CoGR, a retrieval framework that instead trains LLMs to directly construct retrieval representations on both query and item sides. Each generator produces a compact set of keywords, which are matched directly through an inverted index, preserving compatibility with existing keyword-based retrieval infrastructure. CoGR uses a two-stage training pipeline. Supervised fine-tuning first establishes an aligned keyword space, after which co-evolving reinforcement learning alternately optimizes the query- and item-side generators with GRPO against the opposite side's frozen index. Both sides optimize the same query-to-item retrieval F_1 objective: the query side receives retrieval F_1 directly, while the item side receives a counterfactual marginal reward measuring the change in query-side F_1 caused by its generated keywords. Across 10 representative sparse, dense, and generative baselines, CoGR achieves the best performance on both an internal APP Marketplace dataset and the public WANDS benchmark, improving F_1 over the strongest baseline by 10.9% and 36.1%, respectively. Further analysis shows stable co-evolution and increasingly aligned query--item keyword spaces over training.