MULTI3IR：多視点・マルチドメイン・マルチモーダル情報検索のためのベンチマーク

要旨

情報検索（IR）は、多様な視点を許容するオープンエンドなクエリをますます対象とするようになっている。しかし、既存のIRベンチマークは主にクローズドエンドなクエリに焦点を当てており、オープンエンドなベンチマークでさえ、その大部分は、クエリの根拠となる文書が単一の主題領域とモダリティに限られるクエリで構成されている。我々は、多様な領域とモダリティにわたるオープンエンドなクエリの多面的な視点を、検索モデルがどの程度カバーできるかを評価するベンチマークであるMulti^3IRを提案する。これは104.9K件のStack Exchangeクエリからなり、各クエリには、そのクエリが暗黙に内包する視点を捉えた視点記述がアノテーションされている。さらに我々は、ノイズベクトルを学習することで埋め込みを多様でありながら有意義な意味的方向へ導く、パラメータとラベルの両方に効率的な手法であるSPINを提案する。実験により、既存のマルチモーダル検索モデルは単一視点バイアスを持つ一方、SPINはMulti^3IRにおける視点の網羅性を大幅に改善し、未見のオープンエンドなIRベンチマークにも良好に汎化することが示された。データセットと実験コードはhttps://github.com/seokwon99/Multi3IRで公開されている。

English

Information retrieval (IR) increasingly targets open-ended queries that admit diverse perspectives. Existing IR benchmarks, however, focus primarily on closed-ended queries, while even open-ended benchmarks largely consist of queries whose supporting documents span a single subject domain and modality. We introduce Multi^3IR, a benchmark that evaluates how well retrievers cover the multifaceted perspectives of open-ended queries across diverse domains and modalities. It comprises 104.9K Stack Exchange queries, each annotated with perspective descriptions that capture the query's implicit viewpoints. We further propose SPIN, a parameter- and label-efficient method that learns noise vectors to steer embeddings toward diverse yet meaningful semantic directions. Experiments show that existing multimodal retrievers suffer from single-perspective bias, while SPIN substantially improves perspective coverage on Multi^3IR and generalizes well to unseen open-ended IR benchmarks. The dataset and experimental code are available at https://github.com/seokwon99/Multi3IR.