関連性中心の検索を超えて：ルーブリック指向の文書集合選択と順位付け

要旨

大規模言語モデルやAIエージェントが検索結果の主要な消費者となるにつれ、文書セットの品質が下流の生成性能の上限を決定する。しかし既存の評価システムは、文書を個別にスコアリングしnDCGで集約するに留まり、文書間の相互作用（冗長性、矛盾、補完性）を無視しており、ある文書セットが他より優れている理由を答えられない。これらの課題に対処するため、我々は評価・診断・最適化を統合する完全なフレームワークを提案する。SetwiseEvalKitは、短文・長文の両シナリオをカバーする3レベル9次元の文書セット評価ベンチマークであり、約28,000件の高品質評価ルーブリックから構成される。12種類の再ランク付け手法を体系的に評価した結果、最良の手法でもカバレッジは45%以下であり、文書間調整の次元は全般的に弱く、両方の設定でトップ性能を維持する単一の手法は存在しない。これに基づき、ルーブリックに基づく評価基準を文書セット選択信号に変換する訓練不要の手法Rubric4Setwiseを提案する。この手法は、より少ない文書と検索ラウンドで最良の下流生成性能を達成し、両シナリオで最先端の結果を維持する唯一の手法であり、評価から最適化へのループを閉じることの有効性を実証している。

English

As large language models and AI agents become the primary consumers of search results, document set quality determines the upper bound of downstream generation. Yet existing evaluation systems remain confined to scoring documents independently and aggregating via nDCG, ignoring inter-document interactions (redundancy, conflict, complementarity) and unable to answer what makes one document set better than another. To address these issues, we propose a complete evaluate-diagnose-optimize framework. We design SetwiseEvalKit, a three-level, nine-dimension document set evaluation benchmark covering both short-form and long-form scenarios, comprising approximately 28K high-quality evaluation rubrics. We systematically evaluate 12 rerankers: even the best method achieves no more than 45% coverage, cross-document coordination dimensions are universally weak, and no single method maintains top performance across both settings. Building on this, we propose Rubric4Setwise, a training-free method that converts rubric-based evaluation criteria into document set selection signals, achieving the best downstream generation performance with fewer documents and search rounds. It is the only method that maintains state-of-the-art results across both scenarios, validating the effectiveness of closing the loop from evaluation to optimization.