RE-AdaptIR: Улучшение информационного поиска через обратно инженерную адаптацию

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

Авторы: William Fleshman, Benjamin Van Durme

cs.AI

Аннотация

Большие языковые модели (LLM), настроенные для поиска текста, продемонстрировали передовые результаты на нескольких бенчмарках по информационному поиску (IR). Однако надзорное обучение для улучшения этих моделей требует большого количества размеченных примеров, которые обычно недоступны или дороги в получении. В данной работе мы исследуем эффективность расширения обратно-инженерного адаптирования в контексте информационного поиска (RE-AdaptIR). Мы используем RE-AdaptIR для улучшения моделей IR на основе LLM, используя только неразмеченные данные. Мы демонстрируем улучшенную производительность как в областях обучения, так и в нулевых сценариях, где модели не видели запросов. Мы анализируем изменения производительности в различных сценариях донастройки и предлагаем результаты, которые могут быть незамедлительно использованы практикующими специалистами.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.