CORE：リランカー蒸留によるMLLM埋め込みにおける構成推論の向上

要旨

MLLMベースの埋め込みモデルは構成的検索において依然として限定的であり、同じ概念を含みながらも異なる属性-オブジェクト結合を持つシーンを区別できないことが多い。しかし、同じバックボーンは交差注意型リランカーとして用いるとそのような区別を解決できるため、その構成的判断を埋め込みモデルに蒸留する動機付けとなる。我々はCOREを提案する。COREは5つの構成的マッチングレベルにわたる候補リストを合成し、埋め込みモデルがリランカーのきめ細かいランキングを再現するように訓練するRank-KL目的関数を導入する。さらに、段階的評価プロトコルを導入し、同じデータとチューニング予算の下で、対比学習、ペアワイズCoSENT、リストワイズRank-KLを比較する。この比較により、CoSENTとRank-KLの両方が対比学習よりも多段階の教師信号を効果的に活用しており、Rank-KLが全体的に最も強い性能を達成することが示される。3つの構成的推論ベンチマーク（COLA、SUGARCREPE++、NEGBENCH）において、CORE-RERANKER-8Bは総合平均82.7%を達成し、Jina-Rerankerを10.7ポイント上回る。一方、CORE-EMBED-8Bは評価対象となったすべての埋め込みモデルの中で最高の総合平均（0.666）を達成する。これらの改善はMCMRベンチマークにも転移し、COCOおよびFlickr30Kにおける検索性能を犠牲にしない。

English

MLLM-based embedding models remain limited in compositional retrieval, often failing to distinguish scenes containing the same concepts but different attribute-object bindings. Yet the same backbone can resolve such distinctions when used as a cross-attentive reranker, motivating us to distill its compositional judgments into the embedding model. We propose CORE, which synthesizes candidate lists spanning five compositional matching levels and introduces a Rank-KL objective that trains the embedding model to reproduce the reranker's fine-grained ranking. We further introduce a graded evaluation protocol and compare contrastive learning, pairwise CoSENT, and listwise Rank-KL under the same data and tuning budget. Our comparison shows that both CoSENT and Rank-KL use the multi-level supervision more effectively than contrastive learning, with Rank-KL achieving the strongest overall performance. Across three compositional reasoning benchmarks (COLA, SUGARCREPE++, NEGBENCH), CORE-RERANKER-8B achieves an 82.7% total average, outperforming Jina-Reranker by 10.7 points, while CORE-EMBED-8B achieves the best total average (0.666) among all evaluated embedding models. The improvements transfer to the MCMR benchmark without sacrificing retrieval performance on COCO and Flickr30K.