Kontext ist Gold, um die Goldpassage zu finden: Bewertung und Training kontextueller Dokumenten-Embeddings

Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings

May 30, 2025

Autoren: Max Conti, Manuel Faysse, Gautier Viaud, Antoine Bosselut, Céline Hudelot, Pierre Colombo

cs.AI

Zusammenfassung

Eine Einschränkung moderner Methoden zur Einbettung von Dokumenten zur Informationsbeschaffung besteht darin, dass sie Passagen (Abschnitte) aus denselben Dokumenten typischerweise unabhängig voneinander kodieren, wodurch häufig entscheidende kontextuelle Informationen aus dem restlichen Dokument übersehen werden, die die Darstellung einzelner Abschnitte erheblich verbessern könnten. In dieser Arbeit stellen wir ConTEB (Context-aware Text Embedding Benchmark) vor, einen Benchmark, der entwickelt wurde, um Retrieval-Modelle hinsichtlich ihrer Fähigkeit zu bewerten, dokumentweite Kontexte zu nutzen. Unsere Ergebnisse zeigen, dass state-of-the-art Einbettungsmodelle in Retrieval-Szenarien, die Kontext erfordern, Schwierigkeiten haben. Um diese Einschränkung zu überwinden, schlagen wir InSeNT (In-sequence Negative Training) vor, einen neuartigen kontrastiven Nachtrainierungsansatz, der in Kombination mit spätem Chunking-Pooling das kontextuelle Repräsentationslernen verbessert, während die Recheneffizienz erhalten bleibt. Unsere Methode verbessert die Retrieval-Qualität auf ConTEB signifikant, ohne die Leistung des Basismodells zu beeinträchtigen. Wir stellen außerdem fest, dass Abschnitte, die mit unserer Methode eingebettet wurden, robuster gegenüber suboptimalen Chunking-Strategien und größeren Retrieval-Korpusgrößen sind. Wir stellen alle Artefakte unter https://github.com/illuin-tech/contextual-embeddings als Open Source zur Verfügung.

English

A limitation of modern document retrieval embedding methods is that they typically encode passages (chunks) from the same documents independently, often overlooking crucial contextual information from the rest of the document that could greatly improve individual chunk representations. In this work, we introduce ConTEB (Context-aware Text Embedding Benchmark), a benchmark designed to evaluate retrieval models on their ability to leverage document-wide context. Our results show that state-of-the-art embedding models struggle in retrieval scenarios where context is required. To address this limitation, we propose InSeNT (In-sequence Negative Training), a novel contrastive post-training approach which combined with late chunking pooling enhances contextual representation learning while preserving computational efficiency. Our method significantly improves retrieval quality on ConTEB without sacrificing base model performance. We further find chunks embedded with our method are more robust to suboptimal chunking strategies and larger retrieval corpus sizes. We open-source all artifacts at https://github.com/illuin-tech/contextual-embeddings.