CLaRa: Uniendo la Recuperación y la Generación con Razonamiento Latente Continuo
CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
November 24, 2025
Autores: Jie He, Richard He Bai, Sinead Williamson, Jeff Z. Pan, Navdeep Jaitly, Yizhe Zhang
cs.AI
Resumen
La generación aumentada por recuperación (RAG) mejora los grandes modelos de lenguaje (LLM) con conocimiento externo, pero aún adolece de contextos extensos y una optimización disociada entre recuperación y generación. En este trabajo, proponemos CLaRa (Razonamiento Latente Continuo), un marco unificado que realiza compresión basada en *embeddings* y optimización conjunta en un espacio continuo compartido. Para obtener vectores comprimidos semánticamente ricos y recuperables, presentamos SCP, un marco de síntesis de datos que preserva información clave utilizando supervisión de preguntas-respuestas y paráfrasis. CLaRa entrena luego el reranker y el generador de extremo a extremo mediante una única pérdida de modelado del lenguaje, con gradientes fluyendo a través de ambos módulos usando un estimador *top-k* diferenciable. Teóricamente, esta optimización unificada alinea la relevancia de la recuperación con la calidad de la respuesta. Experimentos en múltiples benchmarks de preguntas-respuestas muestran que CLaRa logra un rendimiento de compresión y reranking de vanguardia, superando a menudo líneas base afinadas basadas en texto.
English
Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge but still suffers from long contexts and disjoint retrieval-generation optimization. In this work, we propose CLaRa (Continuous Latent Reasoning), a unified framework that performs embedding-based compression and joint optimization in a shared continuous space. To obtain semantically rich and retrievable compressed vectors, we introduce SCP, a key-preserving data synthesis framework using QA and paraphrase supervision. CLaRa then trains the reranker and generator end-to-end via a single language modeling loss, with gradients flowing through both modules using a differentiable top-k estimator. Theoretically, this unified optimization aligns retrieval relevance with answer quality. Experiments across multiple QA benchmarks show that CLaRa achieves state-of-the-art compression and reranking performance, often surpassing text-based fine-tuned baselines.