文書に溺れる：再ランカー推論のスケーリングの影響

Drowning in Documents: Consequences of Scaling Reranker Inference

November 18, 2024

著者: Mathew Jacob, Erik Lindgren, Matei Zaharia, Michael Carbin, Omar Khattab, Andrew Drozdov

cs.AI

要旨

再ランカーは、通常、クロスエンコーダーとして知られるものが使用され、初期のIRシステムで取得された文書の再スコアリングを行います。これは、高価ではありますが、再ランカーの方が効果的であると想定されているためです。私たちは、この想定に疑問を投げかけ、再ランカーのパフォーマンスを、最初の段階の再スコアリングだけでなく、完全な検索に対して測定します。私たちの実験から、驚くべき傾向が明らかになりました。最良の既存の再ランカーは、段階的により多くの文書にスコアを付けると収益が減少し、ある限界を超えると実際に品質が低下することがあります。実際、この状況では、再ランカーはしばしばクエリとの語彙的または意味的な重複がない文書に高いスコアを割り当てることがあります。私たちは、これらの研究結果が再ランキングの改善を促すことを期待しています。

English

Rerankers, typically cross-encoders, are often used to re-score the documents retrieved by cheaper initial IR systems. This is because, though expensive, rerankers are assumed to be more effective. We challenge this assumption by measuring reranker performance for full retrieval, not just re-scoring first-stage retrieval. Our experiments reveal a surprising trend: the best existing rerankers provide diminishing returns when scoring progressively more documents and actually degrade quality beyond a certain limit. In fact, in this setting, rerankers can frequently assign high scores to documents with no lexical or semantic overlap with the query. We hope that our findings will spur future research to improve reranking.