Rank-without-GPT: オープンソース大規模言語モデルに基づくGPT非依存リストワイズリランカーの構築

要旨

大規模言語モデル（LLM）に基づくリストワイズ・リランカーは、ゼロショットの最先端技術である。しかし、この方向性における現在の研究はすべてGPTモデルに依存しており、科学的再現性における単一障害点となっている。さらに、現在の研究結果がGPTモデルにのみ当てはまり、一般的なLLMには当てはまらない可能性があるという懸念も生じている。本研究では、この前提条件を取り除き、初めてGPTに依存しない効果的なリストワイズ・リランカーを構築した。我々のパッセージ検索実験では、最良のリストワイズ・リランカーがGPT-3.5ベースのリストワイズ・リランカーを13%上回り、GPT-4ベースのリランカーの97%の効果を達成した。また、既存のトレーニングデータセットがポイントワイズ・ランキングのために明示的に構築されたものであり、このようなリストワイズ・リランカーを構築するには不十分であることも示された。代わりに、高品質なリストワイズ・ランキングデータが必要かつ重要であり、人間によるアノテーションが施されたリストワイズ・データリソースの構築に向けたさらなる研究が求められている。

English

Listwise rerankers based on large language models (LLM) are the zero-shot state-of-the-art. However, current works in this direction all depend on the GPT models, making it a single point of failure in scientific reproducibility. Moreover, it raises the concern that the current research findings only hold for GPT models but not LLM in general. In this work, we lift this pre-condition and build for the first time effective listwise rerankers without any form of dependency on GPT. Our passage retrieval experiments show that our best list se reranker surpasses the listwise rerankers based on GPT-3.5 by 13% and achieves 97% effectiveness of the ones built on GPT-4. Our results also show that the existing training datasets, which were expressly constructed for pointwise ranking, are insufficient for building such listwise rerankers. Instead, high-quality listwise ranking data is required and crucial, calling for further work on building human-annotated listwise data resources.

Rank-without-GPT: オープンソース大規模言語モデルに基づくGPT非依存リストワイズリランカーの構築

Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models

要旨

Support