RE-AdaptIR: 역설계된 적응을 통한 정보 검색 성능 개선

RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

June 20, 2024

저자: William Fleshman, Benjamin Van Durme

cs.AI

초록

텍스트 검색을 위해 미세 조정된 대규모 언어 모델(LLMs)은 여러 정보 검색(IR) 벤치마크에서 최첨단 성능을 입증했습니다. 그러나 이러한 모델의 성능을 향상시키기 위한 지도 학습에는 일반적으로 구하기 어렵거나 비용이 많이 드는 다수의 레이블이 지정된 예제가 필요합니다. 본 연구에서는 정보 검색 맥락에서 역공학적 적응(RE-AdaptIR)을 확장하는 방법의 효과를 탐구합니다. 우리는 RE-AdaptIR을 사용하여 레이블이 없는 데이터만으로 LLM 기반 IR 모델의 성능을 개선합니다. 이를 통해 학습 도메인뿐만 아니라 모델이 쿼리를 전혀 보지 못한 도메인에서도 제로샷 성능이 향상됨을 입증합니다. 또한 다양한 미세 조정 시나리오에서의 성능 변화를 분석하고, 실무자들에게 즉시 활용 가능한 연구 결과를 제시합니다.

English

Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.