RAR: Recuperação Aprimorada com Recuperação com Exemplos em Contexto

RARe: Retrieval Augmented Retrieval with In-Context Examples

October 26, 2024

Autores: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

cs.AI

Resumo

Investigamos se exemplos em contexto, amplamente utilizados em modelos de linguagem apenas decodificadores (LLMs), podem melhorar o desempenho do modelo de incorporação em tarefas de recuperação. Ao contrário dos LLMs, a simples adição de exemplos em contexto (pares de consulta-documento) à consulta alvo no momento da inferência não funciona imediatamente. Introduzimos uma abordagem simples para permitir que recuperadores usem exemplos em contexto. Nossa abordagem, RARe, ajusta finamente um modelo pré-treinado com exemplos em contexto cuja consulta é semanticamente similar à consulta alvo. Isso pode ser aplicado para adaptar várias arquiteturas base (ou seja, modelos de linguagem apenas decodificadores, modelos recuperadores) e consistentemente alcança ganhos de desempenho de até +2,72% nDCG em vários conjuntos de dados de recuperação de domínio aberto (BeIR, RAR-b). Em particular, descobrimos que RARe apresenta uma generalização mais forte fora do domínio em comparação com modelos que usam consultas sem exemplos em contexto, semelhante ao que é observado para o aprendizado em contexto em LLMs. Além disso, fornecemos uma análise sobre as escolhas de design da ampliação de exemplos em contexto e lançamos as bases para trabalhos futuros neste espaço.

English

We investigate whether in-context examples, widely used in decoder-only language models (LLMs), can improve embedding model performance in retrieval tasks. Unlike in LLMs, naively prepending in-context examples (query-document pairs) to the target query at inference time does not work out of the box. We introduce a simple approach to enable retrievers to use in-context examples. Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This can be applied to adapt various base architectures (i.e., decoder-only language models, retriever models) and consistently achieves performance gains of up to +2.72% nDCG across various open-domain retrieval datasets (BeIR, RAR-b). In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation and lay the foundation for future work in this space.