Search-R3: Unificazione del Ragionamento e della Generazione di Embedding nei Modelli Linguistici di Grande Dimensione
Search-R3: Unifying Reasoning and Embedding Generation in Large Language Models
October 8, 2025
Autori: Yuntao Gui, James Cheng
cs.AI
Abstract
Nonostante le loro straordinarie capacità di comprensione del linguaggio naturale, i Large Language Models (LLM) sono stati sottoutilizzati per le attività di retrieval. Presentiamo Search-R3, un framework innovativo che affronta questa limitazione adattando i LLM per generare embedding di ricerca come output diretto del loro processo di ragionamento. Il nostro approccio sfrutta le capacità di ragionamento a catena (chain-of-thought) dei LLM, consentendo loro di produrre embedding più efficaci attraverso un'analisi semantica complessa passo dopo passo. Implementiamo ciò attraverso tre meccanismi complementari: (1) una fase di apprendimento supervisionato che abilita il modello a produrre embedding di qualità, (2) una metodologia di reinforcement learning (RL) che ottimizza la generazione degli embedding insieme al ragionamento, e (3) un ambiente RL specializzato che gestisce in modo efficiente le rappresentazioni degli embedding in evoluzione senza richiedere una ricodifica completa del corpus a ogni iterazione di addestramento. Le nostre valutazioni estensive su benchmark diversificati dimostrano che Search-R3 supera significativamente i metodi precedenti unificando i processi di ragionamento e generazione degli embedding. Questo approccio integrato post-addestramento rappresenta un progresso sostanziale nella gestione di compiti complessi e ad alta intensità di conoscenza che richiedono sia un ragionamento sofisticato sia un retrieval efficace delle informazioni. Pagina del progetto: https://github.com/ytgui/Search-R3
English
Despite their remarkable natural language understanding capabilities, Large
Language Models (LLMs) have been underutilized for retrieval tasks. We present
Search-R3, a novel framework that addresses this limitation by adapting LLMs to
generate search embeddings as a direct output of their reasoning process. Our
approach exploits LLMs' chain-of-thought capabilities, allowing them to produce
more effective embeddings by reasoning step-by-step through complex semantic
analyses. We implement this through three complementary mechanisms. (1) a
supervised learning stage enables the model's ability to produce quality
embeddings, (2) a reinforcement learning (RL) methodology that optimizes
embedding generation alongside reasoning, and (3) a specialized RL environment
that efficiently handles evolving embedding representations without requiring
complete corpus re-encoding at each training iteration. Our extensive
evaluations on diverse benchmarks demonstrate that Search-R3 significantly
outperforms prior methods by unifying the reasoning and embedding generation
processes. This integrated post-training approach represents a substantial
advancement in handling complex knowledge-intensive tasks that require both
sophisticated reasoning and effective information retrieval. Project page:
https://github.com/ytgui/Search-R3