매칭에는 둘이 필요하다: 강화학습과 함께 공동 진화하는 생성적 검색기

초록

검색(Retrieval)은 현대 검색 및 광고 시스템의 첫 단계로, 대규모 아이템 집합에서 하위 랭킹과 경매를 위한 후보 집합을 선별한다. 최근 연구에서는 LLM을 활용하여 쿼리 확장, 데이터 합성, 검색 피드백 훈련을 통해 검색 성능을 개선하는 사례가 늘고 있다. 그러나 생성 모듈은 일반적으로 쿼리 측 증강에만 사용되며, 최종 매칭은 여전히 하위 검색기(retriever)에 위임된다. 우리는 CoGR을 제안한다. 이는 LLM이 쿼리 측과 아이템 측 모두에서 검색 표현을 직접 구성하도록 훈련시키는 검색 프레임워크이다. 각 생성기는 간결한 키워드 집합을 생성하며, 이 키워드들은 역색인(inverted index)을 통해 직접 매칭되어 기존 키워드 기반 검색 인프라와의 호환성을 유지한다. CoGR은 두 단계의 훈련 파이프라인을 사용한다. 먼저 지도 미세 조정(supervised fine-tuning)으로 정렬된 키워드 공간을 구축한 후, 공동 진화 강화 학습(co-evolving reinforcement learning)이 GRPO를 사용하여 반대편 측의 고정된 인덱스를 대상으로 쿼리 측 및 아이템 측 생성기를 교대로 최적화한다. 두 측 모두 동일한 쿼리-아이템 검색 F₁ 목표를 최적화한다. 쿼리 측은 검색 F₁을 직접 보상으로 받는 반면, 아이템 측은 생성된 키워드로 인해 발생하는 쿼리 측 F₁의 변화를 측정하는 반사실적 한계 보상(counterfactual marginal reward)을 받는다. 10개의 대표적인 희소(sparse), 밀집(dense), 생성적(generative) 기준선 모델과 비교하여, CoGR은 내부 APP 마켓플레이스 데이터셋과 공개 WANDS 벤치마크 모두에서 최고 성능을 달성했으며, 가장 강력한 기준선 대비 F₁을 각각 10.9% 및 36.1% 향상시켰다. 추가 분석 결과 훈련 과정에서 안정적인 공동 진화와 쿼리-아이템 키워드 공간 간의 정렬이 점진적으로 강화되는 것이 확인되었다.

English

Retrieval is the first stage of modern search and advertising systems, selecting a candidate set from a large item universe for downstream ranking and auction. Recent work increasingly leverages LLMs to improve retrieval through query expansion, data synthesis, and retrieval-feedback training. However, the generative component is typically used for query-side augmentation, while final matching is still delegated to a downstream retriever. We introduce CoGR, a retrieval framework that instead trains LLMs to directly construct retrieval representations on both query and item sides. Each generator produces a compact set of keywords, which are matched directly through an inverted index, preserving compatibility with existing keyword-based retrieval infrastructure. CoGR uses a two-stage training pipeline. Supervised fine-tuning first establishes an aligned keyword space, after which co-evolving reinforcement learning alternately optimizes the query- and item-side generators with GRPO against the opposite side's frozen index. Both sides optimize the same query-to-item retrieval F_1 objective: the query side receives retrieval F_1 directly, while the item side receives a counterfactual marginal reward measuring the change in query-side F_1 caused by its generated keywords. Across 10 representative sparse, dense, and generative baselines, CoGR achieves the best performance on both an internal APP Marketplace dataset and the public WANDS benchmark, improving F_1 over the strongest baseline by 10.9% and 36.1%, respectively. Further analysis shows stable co-evolution and increasingly aligned query--item keyword spaces over training.