EvoEmbedding: 장기 컨텍스트 검색과 에이전트 메모리를 위한 진화 가능한 표현

초록

기존 임베딩 모델은 본질적으로 정적입니다. 텍스트 세그먼트를 고립적으로 인코딩하여 주변 맥락과 시간적 순서를 무시합니다. 본 논문은 검색을 위해 진화 가능한 표현을 생성하는 새로운 임베딩 모델인 EvoEmbedding을 소개합니다. 이 모델은 정보가 동적이고 순차적이며 지속적인 상태 추적을 필요로 하는 장문 맥락 시나리오에 맞춰 설계되었습니다. 우리의 설계는 간단합니다. EvoEmbedding은 입력을 순차적으로 처리하면서 지속적으로 업데이트되는 잠재 메모리를 유지하고, 이를 원본 콘텐츠와 함께 사용하여 진화 가능한 임베딩을 공동으로 생성합니다. 결과적으로 동일한 질의에 대해 우리 모델은 진화하는 맥락에 따라 표현을 적응시켜 정적 의미 검색을 넘어 서로 다른 대상을 검색합니다. 이러한 기능을 모델에 부여하기 위해, 우리는 잠재 메모리와 검색의 공동 최적화를 위한 다양한 데이터셋인 EvoTrain-180K를 구축했습니다. 또한, 반복 인코딩 중 표현 붕괴를 방지하기 위해 메모리 큐를 도입하고, 상당한 길이 변동을 해결하고 훈련을 3.8배 가속화하는 세그먼트 배칭 기법을 함께 제시합니다. 광범위한 실험 결과, 우리 모델이 다양한 장문 맥락 검색 벤치마크에서 대규모 전문 모델(예: Qwen3-Embedding-8B 및 KaLM-Embedding-Gemma3-12B)을 능가할 뿐만 아니라, 훈련 윈도우보다 10배 긴 맥락을 가진 하위 작업(예: 개인화)에도 잘 일반화됨을 보여줍니다. 특히, EvoEmbedding은 에이전트 워크플로우에 원활하게 통합되어 성능을 향상시킵니다. 예를 들어, 우리 모델을 장착한 기본 RAG 파이프라인은 전용 에이전트 메모리 시스템을 능가합니다. 프로젝트 페이지: https://clare-nie.github.io/EvoEmbedding.

English

Existing embedding models are inherently static: they encode text segments in isolation, ignoring their surrounding context and temporal order. This paper introduces EvoEmbedding, a novel embedding model that generates evolvable representations for retrieval. It is tailored for long-context scenarios, where information is dynamic, sequential, and requires continuous state tracking. Our design is simple: EvoEmbedding maintains a continuously updated latent memory as it sequentially processes inputs, and uses it alongside the raw content to jointly generate evolvable embeddings. Consequently, for the same query, our model adapts its representation to retrieve distinct targets based on the evolving context, going beyond static semantic search. To equip the model with this capability, we construct EvoTrain-180K, a diverse dataset for the joint optimization of latent memory and retrieval. Furthermore, we introduce a memory queue to prevent representation collapse during recurrent encoding, alongside segment-batching techniques that tackle significant length variance and accelerate training by 3.8times. Extensive experiments show that our model not only outperforms larger-scale specialists (e.g., Qwen3-Embedding-8B and KaLM-Embedding-Gemma3-12B) across a range of long-context retrieval benchmarks, but also generalizes well to downstream tasks (e.g., personalization) with contexts 10times longer than its training window. Notably, EvoEmbedding seamlessly integrates into agentic workflows to boost performance. For instance, a naive RAG pipeline equipped with our model surpasses dedicated agentic memory systems. Project Page: https://clare-nie.github.io/EvoEmbedding.