CLaRa: Überbrückung von Retrieval und Generierung durch kontinuierliches latentes Reasoning
CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
November 24, 2025
papers.authors: Jie He, Richard He Bai, Sinead Williamson, Jeff Z. Pan, Navdeep Jaitly, Yizhe Zhang
cs.AI
papers.abstract
Retrieval-augmented Generation (RAG) verbessert große Sprachmodelle (LLMs) durch externes Wissen, leidet jedoch weiterhin unter langen Kontexten und einer getrennten Optimierung von Retrieval und Generierung. In dieser Arbeit schlagen wir CLaRa (Continuous Latent Reasoning) vor, ein vereinheitlichtes Framework, das eingebettungsbasierte Kompression und gemeinsame Optimierung in einem gemeinsamen kontinuierlichen Raum durchführt. Um semantisch reiche und abrufbare komprimierte Vektoren zu erhalten, führen wir SCP ein, ein schlüsselerhaltendes Datensynthese-Framework, das QA- und Paraphrasen-Supervision nutzt. CLaRa trainiert anschließend den Reranker und Generator end-to-end über einen einzigen Sprachmodellierungsverlust, wobei Gradienten mittels eines differenzierbaren Top-k-Schätzers durch beide Module fließen. Theoretisch richtet diese vereinheitlichte Optimierung die Retrieval-Relevanz an der Antwortqualität aus. Experimente über mehrere QA-Benchmarks zeigen, dass CLaRa state-of-the-art Kompressions- und Reranking-Leistung erreicht und häufig textbasierte, feinabgestimmte Baseline-Modelle übertrifft.
English
Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge but still suffers from long contexts and disjoint retrieval-generation optimization. In this work, we propose CLaRa (Continuous Latent Reasoning), a unified framework that performs embedding-based compression and joint optimization in a shared continuous space. To obtain semantically rich and retrievable compressed vectors, we introduce SCP, a key-preserving data synthesis framework using QA and paraphrase supervision. CLaRa then trains the reranker and generator end-to-end via a single language modeling loss, with gradients flowing through both modules using a differentiable top-k estimator. Theoretically, this unified optimization aligns retrieval relevance with answer quality. Experiments across multiple QA benchmarks show that CLaRa achieves state-of-the-art compression and reranking performance, often surpassing text-based fine-tuned baselines.