RE-AdaptIR: Melhorando a Recuperação de Informações por meio de Adaptação Engenharia Reversa

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Autores: William Fleshman, Benjamin Van Durme

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) ajustados para recuperação de texto têm demonstrado resultados de ponta em vários benchmarks de recuperação de informação (IR). No entanto, o treinamento supervisionado para melhorar esses modelos requer inúmeros exemplos rotulados, que geralmente não estão disponíveis ou são caros de adquirir. Neste trabalho, exploramos a eficácia da extensão da adaptação engenharia reversa para o contexto de recuperação de informação (RE-AdaptIR). Utilizamos o RE-AdaptIR para melhorar modelos de IR baseados em LLM usando apenas dados não rotulados. Demonstramos um desempenho aprimorado tanto em domínios de treinamento quanto em domínios de zero-shot nos quais os modelos não viram consultas. Analisamos as mudanças de desempenho em vários cenários de ajuste fino e oferecemos descobertas de uso imediato para os profissionais.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.