RE-AdaptIR: リバースエンジニアリングによる適応を活用した情報検索の改善

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

著者: William Fleshman, Benjamin Van Durme

cs.AI

要旨

テキスト検索用にファインチューニングされた大規模言語モデル（LLM）は、いくつかの情報検索（IR）ベンチマークにおいて最先端の結果を示しています。しかし、これらのモデルを改善するための教師ありトレーニングには、多数のラベル付き例が必要であり、一般的に利用できないか、取得にコストがかかります。本研究では、情報検索の文脈におけるリバースエンジニアリング適応（RE-AdaptIR）の拡張の有効性を探ります。RE-AdaptIRを使用して、ラベルなしデータのみを用いてLLMベースのIRモデルを改善します。トレーニングドメイン内での性能向上だけでなく、クエリを一切見ていないドメインでのゼロショット性能も向上することを実証します。さまざまなファインチューニングシナリオにおける性能変化を分析し、実践者にとって即座に役立つ知見を提供します。

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.