RARe: Recuperación Aumentada con Ejemplos en Contexto

RARe: Retrieval Augmented Retrieval with In-Context Examples

October 26, 2024

Autores: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

cs.AI

Resumen

Investigamos si los ejemplos en contexto, ampliamente utilizados en modelos de lenguaje de solo decodificador (LLMs), pueden mejorar el rendimiento del modelo de incrustación en tareas de recuperación. A diferencia de los LLMs, agregar de forma ingenua ejemplos en contexto (pares de consulta-documento) al principio de la consulta objetivo en tiempo de inferencia no funciona de manera directa. Introducimos un enfoque sencillo para permitir a los recuperadores utilizar ejemplos en contexto. Nuestro enfoque, RARe, ajusta finamente un modelo preentrenado con ejemplos en contexto cuya consulta es semánticamente similar a la consulta objetivo. Esto se puede aplicar para adaptar varias arquitecturas base (es decir, modelos de lenguaje de solo decodificador, modelos recuperadores) y logra de manera consistente ganancias de rendimiento de hasta +2.72% nDCG en varios conjuntos de datos de recuperación de dominio abierto (BeIR, RAR-b). En particular, encontramos que RARe muestra una generalización más sólida fuera del dominio en comparación con los modelos que utilizan consultas sin ejemplos en contexto, similar a lo que se observa en el aprendizaje en contexto en LLMs. Además, proporcionamos un análisis sobre las elecciones de diseño de la ampliación de ejemplos en contexto y sentamos las bases para trabajos futuros en este ámbito.

English

We investigate whether in-context examples, widely used in decoder-only language models (LLMs), can improve embedding model performance in retrieval tasks. Unlike in LLMs, naively prepending in-context examples (query-document pairs) to the target query at inference time does not work out of the box. We introduce a simple approach to enable retrievers to use in-context examples. Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This can be applied to adapt various base architectures (i.e., decoder-only language models, retriever models) and consistently achieves performance gains of up to +2.72% nDCG across various open-domain retrieval datasets (BeIR, RAR-b). In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation and lay the foundation for future work in this space.