Il contesto è oro per trovare il passaggio d'oro: valutazione e addestramento di embedding contestuali di documenti

Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings

May 30, 2025

Autori: Max Conti, Manuel Faysse, Gautier Viaud, Antoine Bosselut, Céline Hudelot, Pierre Colombo

cs.AI

Abstract

Una limitazione dei moderni metodi di embedding per il recupero di documenti è che tipicamente codificano i passaggi (chunk) provenienti dagli stessi documenti in modo indipendente, spesso trascurando informazioni contestuali cruciali provenienti dal resto del documento che potrebbero migliorare notevolmente le rappresentazioni dei singoli chunk. In questo lavoro, introduciamo ConTEB (Context-aware Text Embedding Benchmark), un benchmark progettato per valutare i modelli di recupero sulla loro capacità di sfruttare il contesto a livello di documento. I nostri risultati mostrano che i modelli di embedding all'avanguardia faticano negli scenari di recupero in cui è richiesto il contesto. Per affrontare questa limitazione, proponiamo InSeNT (In-sequence Negative Training), un nuovo approccio contrastivo di post-addestramento che, combinato con il pooling tardivo dei chunk, migliora l'apprendimento delle rappresentazioni contestuali preservando l'efficienza computazionale. Il nostro metodo migliora significativamente la qualità del recupero su ConTEB senza sacrificare le prestazioni del modello di base. Inoltre, scopriamo che i chunk incorporati con il nostro metodo sono più robusti rispetto a strategie di chunking subottimali e a dimensioni maggiori del corpus di recupero. Rendiamo disponibili tutti gli artefatti in open-source all'indirizzo https://github.com/illuin-tech/contextual-embeddings.

English

A limitation of modern document retrieval embedding methods is that they typically encode passages (chunks) from the same documents independently, often overlooking crucial contextual information from the rest of the document that could greatly improve individual chunk representations. In this work, we introduce ConTEB (Context-aware Text Embedding Benchmark), a benchmark designed to evaluate retrieval models on their ability to leverage document-wide context. Our results show that state-of-the-art embedding models struggle in retrieval scenarios where context is required. To address this limitation, we propose InSeNT (In-sequence Negative Training), a novel contrastive post-training approach which combined with late chunking pooling enhances contextual representation learning while preserving computational efficiency. Our method significantly improves retrieval quality on ConTEB without sacrificing base model performance. We further find chunks embedded with our method are more robust to suboptimal chunking strategies and larger retrieval corpus sizes. We open-source all artifacts at https://github.com/illuin-tech/contextual-embeddings.