Context is Goud om de Gouden Passage te Vinden: Evaluatie en Training van Contextuele Document Embeddings

Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings

May 30, 2025

Auteurs: Max Conti, Manuel Faysse, Gautier Viaud, Antoine Bosselut, Céline Hudelot, Pierre Colombo

cs.AI

Samenvatting

Een beperking van moderne methoden voor het inbedden van documentretrieval is dat ze doorgaans passages (chunks) uit dezelfde documenten onafhankelijk coderen, waarbij vaak cruciale contextuele informatie uit de rest van het document over het hoofd wordt gezien die de representatie van individuele chunks aanzienlijk zou kunnen verbeteren. In dit werk introduceren we ConTEB (Context-aware Text Embedding Benchmark), een benchmark ontworpen om retrievalmodellen te evalueren op hun vermogen om documentbrede context te benutten. Onze resultaten tonen aan dat state-of-the-art inbeddingsmodellen moeite hebben in retrievalscenario's waar context vereist is. Om deze beperking aan te pakken, stellen we InSeNT (In-sequence Negative Training) voor, een nieuwe contrastieve na-trainingsaanpak die, gecombineerd met late chunking pooling, het leren van contextuele representaties verbetert terwijl de computationele efficiëntie behouden blijft. Onze methode verbetert de retrievalkwaliteit op ConTEB aanzienlijk zonder de prestaties van het basismodel op te offeren. We ontdekken verder dat chunks die met onze methode zijn ingebed, robuuster zijn tegen suboptimale chunkingstrategieën en grotere retrievalscorpusgroottes. We maken alle artefacten openbaar op https://github.com/illuin-tech/contextual-embeddings.

English

A limitation of modern document retrieval embedding methods is that they typically encode passages (chunks) from the same documents independently, often overlooking crucial contextual information from the rest of the document that could greatly improve individual chunk representations. In this work, we introduce ConTEB (Context-aware Text Embedding Benchmark), a benchmark designed to evaluate retrieval models on their ability to leverage document-wide context. Our results show that state-of-the-art embedding models struggle in retrieval scenarios where context is required. To address this limitation, we propose InSeNT (In-sequence Negative Training), a novel contrastive post-training approach which combined with late chunking pooling enhances contextual representation learning while preserving computational efficiency. Our method significantly improves retrieval quality on ConTEB without sacrificing base model performance. We further find chunks embedded with our method are more robust to suboptimal chunking strategies and larger retrieval corpus sizes. We open-source all artifacts at https://github.com/illuin-tech/contextual-embeddings.