RE-AdaptIR: Mejorando la Recuperación de Información mediante Adaptación de Ingeniería Inversa

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Autores: William Fleshman, Benjamin Van Durme

cs.AI

Resumen

Los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) ajustados para la recuperación de texto han demostrado resultados de vanguardia en varios puntos de referencia de recuperación de información (IR, por sus siglas en inglés). Sin embargo, el entrenamiento supervisado para mejorar estos modelos requiere numerosos ejemplos etiquetados, que generalmente no están disponibles o son costosos de adquirir. En este trabajo, exploramos la efectividad de extender la adaptación de ingeniería inversa al contexto de la recuperación de información (RE-AdaptIR, por sus siglas en inglés). Utilizamos RE-AdaptIR para mejorar los modelos de IR basados en LLMs utilizando únicamente datos no etiquetados. Demostramos un mejor rendimiento tanto en los dominios de entrenamiento como en dominios donde los modelos no han visto consultas (zero-shot). Analizamos los cambios de rendimiento en varios escenarios de ajuste fino y ofrecemos hallazgos de utilidad inmediata para los profesionales.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.