EvoEmbedding: Evolvierbare Repräsentationen für Long-Context-Retrieval und agentisches Gedächtnis

Zusammenfassung

Bestehende Embedding-Modelle sind inhärent statisch: Sie kodieren Textsegmente isoliert, ohne ihren umgebenden Kontext und ihre zeitliche Abfolge zu berücksichtigen. In diesem Beitrag wird EvoEmbedding vorgestellt, ein neuartiges Embedding-Modell, das evolvierbare Repräsentationen für das Retrieval erzeugt. Es ist speziell für Langkontext-Szenarien konzipiert, in denen Informationen dynamisch, sequenziell sind und eine kontinuierliche Zustandsverfolgung erfordern. Unser Design ist einfach: EvoEmbedding pflegt einen kontinuierlich aktualisierten latenten Speicher, während es Eingaben sequenziell verarbeitet, und nutzt diesen zusammen mit dem rohen Inhalt, um gemeinsam evolvierbare Embeddings zu erzeugen. Dadurch passt unser Modell für dieselbe Abfrage seine Repräsentation an, um je nach sich entwickelndem Kontext unterschiedliche Ziele abzurufen – weit über statische semantische Suche hinaus. Um das Modell mit dieser Fähigkeit auszustatten, konstruieren wir EvoTrain-180K, einen vielfältigen Datensatz zur gemeinsamen Optimierung von latentem Speicher und Retrieval. Darüber hinaus führen wir eine Speicherwarteschlange (Memory Queue) ein, um einen Repräsentationskollaps während der rekursiven Kodierung zu verhindern, sowie Segment-Batching-Techniken, die erhebliche Längenvariationen bewältigen und das Training um das 3,8-fache beschleunigen. Umfangreiche Experimente zeigen, dass unser Modell nicht nur größere Spezialisten (z. B. Qwen3-Embedding-8B und KaLM-Embedding-Gemma3-12B) in einer Reihe von Langkontext-Retrieval-Benchmarks übertrifft, sondern sich auch gut auf nachgelagerte Aufgaben (z. B. Personalisierung) mit Kontexten verallgemeinern lässt, die zehnmal länger sind als sein Trainingsfenster. Bemerkenswerterweise lässt sich EvoEmbedding nahtlos in agentische Arbeitsabläufe integrieren, um die Leistung zu steigern. So übertrifft eine naive RAG-Pipeline, die mit unserem Modell ausgestattet ist, dedizierte agentische Gedächtnissysteme. Projektseite: https://clare-nie.github.io/EvoEmbedding.

English

Existing embedding models are inherently static: they encode text segments in isolation, ignoring their surrounding context and temporal order. This paper introduces EvoEmbedding, a novel embedding model that generates evolvable representations for retrieval. It is tailored for long-context scenarios, where information is dynamic, sequential, and requires continuous state tracking. Our design is simple: EvoEmbedding maintains a continuously updated latent memory as it sequentially processes inputs, and uses it alongside the raw content to jointly generate evolvable embeddings. Consequently, for the same query, our model adapts its representation to retrieve distinct targets based on the evolving context, going beyond static semantic search. To equip the model with this capability, we construct EvoTrain-180K, a diverse dataset for the joint optimization of latent memory and retrieval. Furthermore, we introduce a memory queue to prevent representation collapse during recurrent encoding, alongside segment-batching techniques that tackle significant length variance and accelerate training by 3.8times. Extensive experiments show that our model not only outperforms larger-scale specialists (e.g., Qwen3-Embedding-8B and KaLM-Embedding-Gemma3-12B) across a range of long-context retrieval benchmarks, but also generalizes well to downstream tasks (e.g., personalization) with contexts 10times longer than its training window. Notably, EvoEmbedding seamlessly integrates into agentic workflows to boost performance. For instance, a naive RAG pipeline equipped with our model surpasses dedicated agentic memory systems. Project Page: https://clare-nie.github.io/EvoEmbedding.