マルチモーダル大規模言語モデルを用いた双方向尤度推定によるテキスト-ビデオ検索

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

著者: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

要旨

テキスト-ビデオ検索（Text-Video Retrieval）は、大規模なオンラインデータベースから、ビデオ（またはテキスト）クエリに対して最も関連性の高いテキスト（またはビデオ）候補を見つけることを目的としています。最近の研究では、マルチモーダル大規模言語モデル（MLLMs）を活用して検索性能を向上させることが試みられており、特に長いまたは複雑なクエリ-候補ペアに対して効果を発揮しています。しかし、MLLMsを単純に適用する方法、すなわち候補の尤度に基づく検索では、候補の事前確率バイアスが導入され、クエリに対してより関連性の高い候補よりも、本質的に事前確率が高い候補が優先される傾向があります。この問題に対処するため、我々は新しい検索フレームワークである「Bidirectional Likelihood Estimation with MLLM（BLiM）」を提案します。BLiMは、与えられたビデオからテキストを生成するだけでなく、与えられたテキストからビデオ特徴を生成するようにモデルを訓練することで、クエリと候補の両方の尤度を活用します。さらに、候補の事前確率バイアスを軽減するために、訓練不要のスコアキャリブレーションモジュールである「Candidate Prior Normalization（CPN）」を導入します。4つのテキスト-ビデオ検索ベンチマークにおいて、CPNを搭載したBLiMは、従来の最先端モデルを平均6.4 R@1で上回り、候補の事前確率バイアスを効果的に軽減し、クエリ-候補の関連性を強調します。検索を超えた様々なマルチモーダルタスクにわたる詳細な分析を通じて、CPNがテキストの事前確率への依存を減らすことで視覚的理解を向上させる広範な適用可能性を明らかにしました。コードはhttps://github.com/mlvlab/BLiMで公開されています。

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.