LaSER: Интеграция явных рассуждений в латентное пространство для плотного поиска

LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval

March 2, 2026

Авторы: Jiajie Jin, Yanzhao Zhang, Mingxin Li, Dingkun Long, Pengjun Xie, Yutao Zhu, Zhicheng Dou

cs.AI

Аннотация

Крупные языковые модели (LLM) коренным образом преобразовали плотный поиск, сменив базовую архитектуру с дискриминативных энкодеров на генеративные. Однако сохраняется ключевой разрыв: хотя LLM обладают мощными способностями к рассуждению, современные системы поиска в основном используют их как статические энкодеры, оставляя нераскрытым их потенциал для сложных логических выводов. Для решения этой проблемы существующие подходы обычно применяют конвейеры «переписать-затем-найти» для генерации явных цепочек рассуждений (CoT) перед поиском. Однако это приводит к неприемлемой задержке. В данной статье мы предлагаем LaSER — новую структуру само-дистилляции, которая интериоризирует явные рассуждения в латентное пространство плотных систем поиска. Работая на общей LLM-архитектуре, LaSER вводит механизм двухканального обучения: Явный канал, который явно кодирует эталонные траектории рассуждений, и Латентный канал, выполняющий неявное латентное мышление. Для соединения этих каналов мы разработали стратегию многомасштабного выравнивания. Помимо стандартного выравнивания выходов, мы вводим механизм выравнивания траекторий, который синхронизирует промежуточные латентные состояния латентного пути с семантической прогрессией явных сегментов рассуждений. Это позволяет системе поиска «думать молча» и эффективно без авторегрессионной генерации текста. Многочисленные эксперименты на внутри- и внедоменных тестах, требующих интенсивных рассуждений, демонстрируют, что LaSER существенно превосходит современные базовые методы. Кроме того, анализ на различных архитектурах и масштабах моделей подтверждает устойчивость нашего подхода, показывая, что наша унифицированная структура обучения важна для пробуждения эффективного латентного мышления. Наш метод успешно объединяет глубину рассуждений явных CoT-конвейеров с эффективностью вывода стандартных плотных систем поиска.

English

LLMs have fundamentally transformed dense retrieval, upgrading backbones from discriminative encoders to generative architectures. However, a critical disconnect remains: while LLMs possess strong reasoning capabilities, current retrievers predominantly utilize them as static encoders, leaving their potential for complex reasoning unexplored. To address this, existing approaches typically adopt rewrite-then-retrieve pipelines to generate explicit CoT rationales before retrieval. However, this incurs prohibitive latency. In this paper, we propose LaSER, a novel self-distillation framework that internalizes explicit reasoning into the latent space of dense retrievers. Operating on a shared LLM backbone, LaSER introduces a dual-view training mechanism: an Explicit view that explicitly encodes ground-truth reasoning paths, and a Latent view that performs implicit latent thinking. To bridge the gap between these views, we design a multi-grained alignment strategy. Beyond standard output alignment, we introduce a trajectory alignment mechanism that synchronizes the intermediate latent states of the latent path with the semantic progression of the explicit reasoning segments. This allows the retriever to think silently and effectively without autoregressive text generation. Extensive experiments on both in-domain and out-of-domain reasoning-intensive benchmarks demonstrate that LaSER significantly outperforms state-of-the-art baselines. Furthermore, analyses across diverse backbones and model scales validate the robustness of our approach, confirming that our unified learning framework is essential for eliciting effective latent thinking. Our method successfully combines the reasoning depth of explicit CoT pipelines with the inference efficiency of standard dense retrievers.