Rank1: 情報検索における再ランキングのためのテスト時計算

Rank1: Test-Time Compute for Reranking in Information Retrieval

February 25, 2025

著者: Orion Weller, Kathryn Ricci, Eugene Yang, Andrew Yates, Dawn Lawrie, Benjamin Van Durme

cs.AI

要旨

我々はRank1を紹介する。これは、テスト時の計算リソースを活用するために訓練された最初の再ランキングモデルである。Rank1は、検索タスクにおいて推論言語モデル（例：OpenAIのo1、DeepseekのR1など）を蒸留に利用することで、より小規模なモデルの性能を迅速に向上させる可能性を示している。我々は、MS MARCOのクエリとパッセージから600,000以上のR1推論トレースのデータセットを収集し、オープンソースとして公開した。このデータセットで訓練されたモデルは、(1)高度な推論と指示追従データセットにおいて最先端の性能を示し、(2)ユーザー入力プロンプトに対応する能力により、分布外データに対しても非常に良好に機能し、(3)ユーザーやRAGベースのシステムに提供可能な説明可能な推論チェーンを有する。さらに、これらのモデルの量子化バージョンが、計算リソースやメモリ使用量を削減しながらも強力な性能を維持することを実証する。全体として、Rank1は、テスト時の計算リソースが、検索のための全く新しいタイプの説明可能かつ高性能な再ランキングモデルを可能にすることを示している。

English

We introduce Rank1, the first reranking model trained to take advantage of test-time compute. Rank1 demonstrates the applicability within retrieval of using a reasoning language model (i.e. OpenAI's o1, Deepseek's R1, etc.) for distillation in order to rapidly improve the performance of a smaller model. We gather and open-source a dataset of more than 600,000 examples of R1 reasoning traces from queries and passages in MS MARCO. Models trained on this dataset show: (1) state-of-the-art performance on advanced reasoning and instruction following datasets; (2) work remarkably well out of distribution due to the ability to respond to user-input prompts; and (3) have explainable reasoning chains that can be given to users or RAG-based systems. Further, we demonstrate that quantized versions of these models retain strong performance while using less compute/memory. Overall, Rank1 shows that test-time compute allows for a fundamentally new type of explainable and performant reranker model for search.