マッチングには二者が必要：強化学習による生成的検索器の共進化

要旨

リトリーバルは、現代の検索・広告システムの最初の段階であり、膨大なアイテム集合から候補集合を選択して、後段のランキングやオークションへ渡す役割を担う。最近の研究では、クエリ拡張、データ合成、検索フィードバック学習などを通じてLLMをリトリーバル改善に活用する動きが強まっている。しかし、そうした生成コンポーネントは通常クエリ側の拡張に用いられるだけであり、最終的なマッチングは依然として後段のリトリーバーに委ねられている。本稿では、クエリ側とアイテム側の双方でLLMが直接検索表現を構築するよう訓練するリトリーバルフレームワークCoGRを提案する。各生成器はコンパクトなキーワード集合を生成し、それが転置インデックスを介して直接マッチングされるため、既存のキーワードベースの検索インフラとの互換性が保たれる。CoGRは2段階の訓練パイプラインを採用する。まず教師ありファインチューニングにより整合されたキーワード空間を構築し、その後、共進化的強化学習を用いて、クエリ側とアイテム側の生成器を、相手側の凍結インデックスに対してGRPOで交互に最適化する。両側は、クエリからアイテムへの検索F_1という同一の目的を最適化する。すなわち、クエリ側は検索F_1を直接報酬として受け取り、アイテム側は自身が生成したキーワードが引き起こしたクエリ側F_1の変化を測る反事実的限界報酬を受け取る。スパース、デンス、生成的検索の代表的な10ベースラインとの比較において、CoGRは内部のAPPマーケットプレイスデータセットと公開ベンチマークWANDSの両方で最高性能を達成し、最強のベースラインと比べてF_1をそれぞれ10.9%および36.1%向上させた。さらなる分析により、訓練を通じて安定した共進化が起こり、クエリとアイテムのキーワード空間の整合性が徐々に高まることが示された。

English

Retrieval is the first stage of modern search and advertising systems, selecting a candidate set from a large item universe for downstream ranking and auction. Recent work increasingly leverages LLMs to improve retrieval through query expansion, data synthesis, and retrieval-feedback training. However, the generative component is typically used for query-side augmentation, while final matching is still delegated to a downstream retriever. We introduce CoGR, a retrieval framework that instead trains LLMs to directly construct retrieval representations on both query and item sides. Each generator produces a compact set of keywords, which are matched directly through an inverted index, preserving compatibility with existing keyword-based retrieval infrastructure. CoGR uses a two-stage training pipeline. Supervised fine-tuning first establishes an aligned keyword space, after which co-evolving reinforcement learning alternately optimizes the query- and item-side generators with GRPO against the opposite side's frozen index. Both sides optimize the same query-to-item retrieval F_1 objective: the query side receives retrieval F_1 directly, while the item side receives a counterfactual marginal reward measuring the change in query-side F_1 caused by its generated keywords. Across 10 representative sparse, dense, and generative baselines, CoGR achieves the best performance on both an internal APP Marketplace dataset and the public WANDS benchmark, improving F_1 over the strongest baseline by 10.9% and 36.1%, respectively. Further analysis shows stable co-evolution and increasingly aligned query--item keyword spaces over training.