Contexto é Ouro para Encontrar a Passagem de Ouro: Avaliando e Treinando Incorporações Contextuais de Documentos

Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings

May 30, 2025

Autores: Max Conti, Manuel Faysse, Gautier Viaud, Antoine Bosselut, Céline Hudelot, Pierre Colombo

cs.AI

Resumo

Uma limitação dos métodos modernos de incorporação de recuperação de documentos é que eles normalmente codificam trechos (chunks) do mesmo documento de forma independente, frequentemente negligenciando informações contextuais cruciais do restante do documento que poderiam melhorar significativamente as representações individuais dos trechos. Neste trabalho, introduzimos o ConTEB (Context-aware Text Embedding Benchmark), um benchmark projetado para avaliar modelos de recuperação em sua capacidade de aproveitar o contexto de todo o documento. Nossos resultados mostram que os modelos de incorporação state-of-the-art têm dificuldades em cenários de recuperação onde o contexto é necessário. Para abordar essa limitação, propomos o InSeNT (In-sequence Negative Training), uma nova abordagem de pós-treinamento contrastivo que, combinada com o agrupamento tardio de trechos (late chunking pooling), melhora o aprendizado de representações contextuais enquanto preserva a eficiência computacional. Nosso método melhora significativamente a qualidade da recuperação no ConTEB sem sacrificar o desempenho do modelo base. Além disso, descobrimos que os trechos incorporados com nosso método são mais robustos a estratégias de chunking subótimas e a tamanhos maiores de corpus de recuperação. Disponibilizamos todos os artefatos em código aberto em https://github.com/illuin-tech/contextual-embeddings.

English

A limitation of modern document retrieval embedding methods is that they typically encode passages (chunks) from the same documents independently, often overlooking crucial contextual information from the rest of the document that could greatly improve individual chunk representations. In this work, we introduce ConTEB (Context-aware Text Embedding Benchmark), a benchmark designed to evaluate retrieval models on their ability to leverage document-wide context. Our results show that state-of-the-art embedding models struggle in retrieval scenarios where context is required. To address this limitation, we propose InSeNT (In-sequence Negative Training), a novel contrastive post-training approach which combined with late chunking pooling enhances contextual representation learning while preserving computational efficiency. Our method significantly improves retrieval quality on ConTEB without sacrificing base model performance. We further find chunks embedded with our method are more robust to suboptimal chunking strategies and larger retrieval corpus sizes. We open-source all artifacts at https://github.com/illuin-tech/contextual-embeddings.