CLaRa : Relier la récupération et la génération par un raisonnement latent continu
CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
November 24, 2025
papers.authors: Jie He, Richard He Bai, Sinead Williamson, Jeff Z. Pan, Navdeep Jaitly, Yizhe Zhang
cs.AI
papers.abstract
La génération augmentée par récupération (RAG) améliore les grands modèles de langage (LLM) avec des connaissances externes, mais souffre encore de longs contextes et d'une optimisation disjointe entre récupération et génération. Dans ce travail, nous proposons CLaRa (Raisonnement Latent Continu), un cadre unifié réalisant une compression par plongement lexical et une optimisation conjointe dans un espace continu partagé. Pour obtenir des vecteurs compressés sémantiquement riches et récupérables, nous introduisons SCP, un cadre de synthèse de données préservant les clés, utilisant un supervision par questions-réponses et paraphrase. CLaRa entraîne ensuite le rerankeur et le générateur de bout en bout via une seule perte de modélisation du langage, avec des gradients circulant à travers les deux modules en utilisant un estimateur top-k différentiable. Théoriquement, cette optimisation unifiée aligne la pertinence de la récupération avec la qualité de la réponse. Les expériences sur plusieurs benchmarks de questions-réponses montrent que CLaRa atteint des performances de pointe en compression et reranking, surpassant souvent les lignes de base ajustées basées sur le texte.
English
Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge but still suffers from long contexts and disjoint retrieval-generation optimization. In this work, we propose CLaRa (Continuous Latent Reasoning), a unified framework that performs embedding-based compression and joint optimization in a shared continuous space. To obtain semantically rich and retrievable compressed vectors, we introduce SCP, a key-preserving data synthesis framework using QA and paraphrase supervision. CLaRa then trains the reranker and generator end-to-end via a single language modeling loss, with gradients flowing through both modules using a differentiable top-k estimator. Theoretically, this unified optimization aligns retrieval relevance with answer quality. Experiments across multiple QA benchmarks show that CLaRa achieves state-of-the-art compression and reranking performance, often surpassing text-based fine-tuned baselines.