CLaRa: Overbrugging van Retrieval en Generatie met Continue Latente Redenering
CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
November 24, 2025
Auteurs: Jie He, Richard He Bai, Sinead Williamson, Jeff Z. Pan, Navdeep Jaitly, Yizhe Zhang
cs.AI
Samenvatting
Retrieval-augmented generation (RAG) versterkt grote taalmmodellen (LLM's) met externe kennis, maar kampt nog steeds met lange contexten en een gefragmenteerde optimalisatie van retrieval en generatie. In dit werk stellen we CLaRa (Continuous Latent Reasoning) voor, een uniform raamwerk dat embedding-gebaseerde compressie en gezamenlijke optimalisatie uitvoert in een gedeelde continue ruimte. Om semantisch rijke en opvraagbare gecomprimeerde vectoren te verkrijgen, introduceren we SCP, een key-preserving data-syntheseraamwerk dat gebruikmaakt van QA- en parafrasetoezicht. Vervolgens traint CLaRa de reranker en generator end-to-end via een enkele taalmodelleringsloss, waarbij gradienten door beide modules stromen met behulp van een differentieerbare top-k-schatter. Theoretisch gezien brengt deze verenigde optimalisatie de retrievalrelevantie in overeenstemming met de antwoordkwaliteit. Experimenten op meerdere QA-benchmarks tonen aan dat CLaRa state-of-the-art compressie- en rerankingprestaties bereikt, en vaak op tekst gebaseerde, fijn afgestemde baseline-modellen overtreft.
English
Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge but still suffers from long contexts and disjoint retrieval-generation optimization. In this work, we propose CLaRa (Continuous Latent Reasoning), a unified framework that performs embedding-based compression and joint optimization in a shared continuous space. To obtain semantically rich and retrievable compressed vectors, we introduce SCP, a key-preserving data synthesis framework using QA and paraphrase supervision. CLaRa then trains the reranker and generator end-to-end via a single language modeling loss, with gradients flowing through both modules using a differentiable top-k estimator. Theoretically, this unified optimization aligns retrieval relevance with answer quality. Experiments across multiple QA benchmarks show that CLaRa achieves state-of-the-art compression and reranking performance, often surpassing text-based fine-tuned baselines.