EvoEmbedding: Representações Evolucionáveis para Recuperação de Contexto Longo e Memória Agencial

Resumo

Os modelos de embedding existentes são inerentemente estáticos: eles codificam segmentos de texto de forma isolada, ignorando o contexto circundante e a ordem temporal. Este artigo apresenta o EvoEmbedding, um modelo de embedding inovador que gera representações evolutivas para recuperação de informação. Ele é adaptado para cenários de contexto longo, onde a informação é dinâmica, sequencial e requer monitoramento contínuo do estado. Nosso design é simples: o EvoEmbedding mantém uma memória latente continuamente atualizada à medida que processa entradas sequencialmente, e a utiliza em conjunto com o conteúdo bruto para gerar embeddings evolutivos. Consequentemente, para uma mesma consulta, nosso modelo adapta sua representação para recuperar alvos distintos com base no contexto em evolução, indo além da busca semântica estática. Para equipar o modelo com essa capacidade, construímos o EvoTrain-180K, um conjunto de dados diversificado para a otimização conjunta da memória latente e da recuperação. Além disso, introduzimos uma fila de memória para evitar o colapso de representação durante a codificação recorrente, juntamente com técnicas de agrupamento em lote por segmentos que lidam com a variação significativa de comprimento e aceleram o treinamento em 3,8 vezes. Experimentos extensivos mostram que nosso modelo não apenas supera especialistas de maior escala (por exemplo, Qwen3-Embedding-8B e KaLM-Embedding-Gemma3-12B) em uma série de benchmarks de recuperação de contexto longo, mas também generaliza bem para tarefas downstream (por exemplo, personalização) com contextos 10 vezes mais longos que sua janela de treinamento. Notavelmente, o EvoEmbedding integra-se perfeitamente a fluxos de trabalho agentivos para melhorar o desempenho. Por exemplo, um pipeline RAG ingênuo equipado com nosso modelo supera sistemas de memória agentivos dedicados. Página do Projeto: https://clare-nie.github.io/EvoEmbedding.

English

Existing embedding models are inherently static: they encode text segments in isolation, ignoring their surrounding context and temporal order. This paper introduces EvoEmbedding, a novel embedding model that generates evolvable representations for retrieval. It is tailored for long-context scenarios, where information is dynamic, sequential, and requires continuous state tracking. Our design is simple: EvoEmbedding maintains a continuously updated latent memory as it sequentially processes inputs, and uses it alongside the raw content to jointly generate evolvable embeddings. Consequently, for the same query, our model adapts its representation to retrieve distinct targets based on the evolving context, going beyond static semantic search. To equip the model with this capability, we construct EvoTrain-180K, a diverse dataset for the joint optimization of latent memory and retrieval. Furthermore, we introduce a memory queue to prevent representation collapse during recurrent encoding, alongside segment-batching techniques that tackle significant length variance and accelerate training by 3.8times. Extensive experiments show that our model not only outperforms larger-scale specialists (e.g., Qwen3-Embedding-8B and KaLM-Embedding-Gemma3-12B) across a range of long-context retrieval benchmarks, but also generalizes well to downstream tasks (e.g., personalization) with contexts 10times longer than its training window. Notably, EvoEmbedding seamlessly integrates into agentic workflows to boost performance. For instance, a naive RAG pipeline equipped with our model surpasses dedicated agentic memory systems. Project Page: https://clare-nie.github.io/EvoEmbedding.