Search-R3: 大規模言語モデルにおける推論と埋め込み生成の統合
Search-R3: Unifying Reasoning and Embedding Generation in Large Language Models
October 8, 2025
著者: Yuntao Gui, James Cheng
cs.AI
要旨
大規模言語モデル（LLMs）はその卓越した自然言語理解能力にもかかわらず、検索タスクにおいて十分に活用されていない。本論文では、この制約を克服するため、LLMsを適応させて検索埋め込みをその推論プロセスの直接的な出力として生成する新たなフレームワーク「Search-R3」を提案する。本アプローチは、LLMsの連鎖的思考（chain-of-thought）能力を活用し、複雑な意味解析を段階的に推論することで、より効果的な埋め込みを生成することを可能にする。これを実現するために、以下の3つの補完的メカニズムを導入する。(1) 教師あり学習段階により、モデルが高品質な埋め込みを生成する能力を獲得する。(2) 推論と並行して埋め込み生成を最適化する強化学習（RL）手法。(3) 各訓練イテレーションにおいてコーパスの完全な再エンコーディングを必要とせず、進化する埋め込み表現を効率的に処理する専用のRL環境。多様なベンチマークでの広範な評価を通じて、Search-R3が推論と埋め込み生成プロセスを統合することで、従来の手法を大幅に上回る性能を示すことを実証した。この統合的なポストトレーニングアプローチは、高度な推論と効果的な情報検索を必要とする複雑な知識集約型タスクの処理において、大きな進展を表している。プロジェクトページ: https://github.com/ytgui/Search-R3
English
Despite their remarkable natural language understanding capabilities, Large
Language Models (LLMs) have been underutilized for retrieval tasks. We present
Search-R3, a novel framework that addresses this limitation by adapting LLMs to
generate search embeddings as a direct output of their reasoning process. Our
approach exploits LLMs' chain-of-thought capabilities, allowing them to produce
more effective embeddings by reasoning step-by-step through complex semantic
analyses. We implement this through three complementary mechanisms. (1) a
supervised learning stage enables the model's ability to produce quality
embeddings, (2) a reinforcement learning (RL) methodology that optimizes
embedding generation alongside reasoning, and (3) a specialized RL environment
that efficiently handles evolving embedding representations without requiring
complete corpus re-encoding at each training iteration. Our extensive
evaluations on diverse benchmarks demonstrate that Search-R3 significantly
outperforms prior methods by unifying the reasoning and embedding generation
processes. This integrated post-training approach represents a substantial
advancement in handling complex knowledge-intensive tasks that require both
sophisticated reasoning and effective information retrieval. Project page:
https://github.com/ytgui/Search-R3