EvoEmbedding: эволюционируемые представления для поиска по длинному контексту и агентной памяти

Аннотация

Существующие модели эмбеддингов по своей природе статичны: они кодируют текстовые сегменты изолированно, игнорируя окружающий контекст и временной порядок. В данной статье представлена EvoEmbedding — новая модель эмбеддингов, которая генерирует эволюционирующие представления для поиска. Она предназначена для сценариев с длинным контекстом, где информация динамична, последовательна и требует непрерывного отслеживания состояния. Наше решение просто: EvoEmbedding поддерживает непрерывно обновляемую латентную память при последовательной обработке входных данных и использует её наряду с исходным содержимым для совместной генерации эволюционирующих эмбеддингов. Следовательно, для одного и того же запроса наша модель адаптирует свое представление для извлечения различных целей на основе эволюционирующего контекста, выходя за рамки статического семантического поиска. Чтобы наделить модель этой способностью, мы создали EvoTrain-180K — разнообразный набор данных для совместной оптимизации латентной памяти и поиска. Кроме того, мы вводим очередь памяти для предотвращения коллапса представлений при рекуррентном кодировании, а также методы сегментной пакетной обработки, которые устраняют значительную вариативность длины и ускоряют обучение в 3,8 раза. Обширные эксперименты показывают, что наша модель не только превосходит более крупные специализированные модели (например, Qwen3-Embedding-8B и KaLM-Embedding-Gemma3-12B) в ряде эталонных тестов поиска по длинному контексту, но и хорошо обобщается на последующие задачи (например, персонализацию) с контекстами, в 10 раз превышающими ее окно обучения. Примечательно, что EvoEmbedding легко интегрируется в агентные рабочие процессы для повышения производительности. Например, наивный конвейер RAG, оснащенный нашей моделью, превосходит специализированные агентные системы памяти. Страница проекта: https://clare-nie.github.io/EvoEmbedding.

English

Existing embedding models are inherently static: they encode text segments in isolation, ignoring their surrounding context and temporal order. This paper introduces EvoEmbedding, a novel embedding model that generates evolvable representations for retrieval. It is tailored for long-context scenarios, where information is dynamic, sequential, and requires continuous state tracking. Our design is simple: EvoEmbedding maintains a continuously updated latent memory as it sequentially processes inputs, and uses it alongside the raw content to jointly generate evolvable embeddings. Consequently, for the same query, our model adapts its representation to retrieve distinct targets based on the evolving context, going beyond static semantic search. To equip the model with this capability, we construct EvoTrain-180K, a diverse dataset for the joint optimization of latent memory and retrieval. Furthermore, we introduce a memory queue to prevent representation collapse during recurrent encoding, alongside segment-batching techniques that tackle significant length variance and accelerate training by 3.8times. Extensive experiments show that our model not only outperforms larger-scale specialists (e.g., Qwen3-Embedding-8B and KaLM-Embedding-Gemma3-12B) across a range of long-context retrieval benchmarks, but also generalizes well to downstream tasks (e.g., personalization) with contexts 10times longer than its training window. Notably, EvoEmbedding seamlessly integrates into agentic workflows to boost performance. For instance, a naive RAG pipeline equipped with our model surpasses dedicated agentic memory systems. Project Page: https://clare-nie.github.io/EvoEmbedding.