EviRank: 構造化された関連性エビデンスに基づくマルチモーダル画像リランキング

要旨

実世界の画像検索クエリはマルチモーダルかつ構成的である。「このシャツをピンクで探して」は、保持すべきエンティティ、変更すべき属性、無視すべきコンテキストを指定する。しかし既存の再ランカーは、そのような多面的な関連性を不透明な埋め込みに圧縮するか、自由形式の思考連鎖に依存するかのいずれかであり、細粒度の制約を容易に省略または幻覚してしまう。我々はNLPにおけるルーブリックおよびチェックリストに基づく評価を援用し、マルチモーダル画像再ランキングを意味的制約充足問題として再構成してEviRankを提案する。EviRankは任意のクエリ（テキストのみ、画像のみ、または複合）を統一的エビデンスパッケージに解析する。すなわち、6つの意味スロット（例：エンティティ、属性、関係）にわたる型付き基準であり、各基準は必須、禁止、無視可能のいずれかにラベル付けされる。再ランキングはその後、エビデンス条件付き検証に帰着し、決定論的ルーブリックスコアリングとエビデンスに基づくリストワイズ比較を単一の学習不要手順で組み合わせる。明示的なエビデンスは、軽量な学生モデルをオプションで蒸留するための構造化された監督としてもさらに機能する。テキストから画像、画像から画像、複合画像検索にわたる5つのベンチマーク全体で、EviRankは最先端の性能を達成し、蒸留された学生モデルは教師モデルの能力の90%以上を大幅に低いコストで保持する。

English

Real-world image search queries are multimodal and compositional: ``find this shirt in pink'' specifies an entity to retain, an attribute to modify, and context to ignore. Yet existing re-rankers either compress such multifaceted relevance into an opaque embedding or rely on free-form chain-of-thought that easily omits or hallucinates fine-grained constraints. Drawing on rubric- and checklist-based evaluation from NLP, we recast multimodal image re-ranking as a semantic constraint satisfaction problem and propose EviRank, which parses any query - text-only, image-only, or composed - into a unified evidence package: typed criteria across six semantic slots (e.g., entities, attributes, relations), each labelled required, forbidden, or ignorable. Re-ranking then reduces to evidence-conditioned verification, combining deterministic rubric scoring and evidence-grounded listwise comparison in a single training-free procedure. The explicit evidence can further serve as structured supervision for optionally distilling a lightweight student. Across five benchmarks spanning text-to-image, image-to-image, and composed image retrieval, EviRank achieves state-of-the-art performance, and the distilled student preserves over 90% of the teacher's capability at substantially lower cost.