Le contexte est essentiel pour identifier le passage pertinent : Évaluation et entraînement des représentations contextuelles de documents

Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings

May 30, 2025

Auteurs: Max Conti, Manuel Faysse, Gautier Viaud, Antoine Bosselut, Céline Hudelot, Pierre Colombo

cs.AI

Résumé

Une limitation des méthodes modernes d'incorporation pour la recherche de documents est qu'elles encodent généralement les passages (segments) issus des mêmes documents de manière indépendante, négligeant souvent des informations contextuelles cruciales provenant du reste du document qui pourraient grandement améliorer la représentation des segments individuels. Dans ce travail, nous présentons ConTEB (Context-aware Text Embedding Benchmark), un benchmark conçu pour évaluer les modèles de recherche sur leur capacité à exploiter le contexte à l'échelle du document. Nos résultats montrent que les modèles d'incorporation de pointe peinent dans les scénarios de recherche où le contexte est nécessaire. Pour remédier à cette limitation, nous proposons InSeNT (In-sequence Negative Training), une nouvelle approche de post-entraînement contrastif qui, combinée à un regroupement tardif des segments, améliore l'apprentissage des représentations contextuelles tout en préservant l'efficacité computationnelle. Notre méthode améliore significativement la qualité de la recherche sur ConTEB sans sacrifier les performances du modèle de base. Nous constatons également que les segments incorporés avec notre méthode sont plus robustes face à des stratégies de segmentation sous-optimales et à des tailles de corpus de recherche plus importantes. Nous mettons à disposition tous les artefacts en open-source à l'adresse suivante : https://github.com/illuin-tech/contextual-embeddings.

English

A limitation of modern document retrieval embedding methods is that they typically encode passages (chunks) from the same documents independently, often overlooking crucial contextual information from the rest of the document that could greatly improve individual chunk representations. In this work, we introduce ConTEB (Context-aware Text Embedding Benchmark), a benchmark designed to evaluate retrieval models on their ability to leverage document-wide context. Our results show that state-of-the-art embedding models struggle in retrieval scenarios where context is required. To address this limitation, we propose InSeNT (In-sequence Negative Training), a novel contrastive post-training approach which combined with late chunking pooling enhances contextual representation learning while preserving computational efficiency. Our method significantly improves retrieval quality on ConTEB without sacrificing base model performance. We further find chunks embedded with our method are more robust to suboptimal chunking strategies and larger retrieval corpus sizes. We open-source all artifacts at https://github.com/illuin-tech/contextual-embeddings.