Bidirectionele Waarschijnlijkheidschatting met Multi-Modale Grote Taalmodellen voor Tekst-Video Retrieval

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

Auteurs: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

Samenvatting

Text-Video Retrieval heeft als doel de meest relevante tekst- (of video-) kandidaat te vinden op basis van een video- (of tekst-) query uit grootschalige online databases. Recent werk maakt gebruik van multimodale grote taalmodellen (MLLMs) om de retrieval te verbeteren, vooral voor lange of complexe query-kandidaatparen. We observeren echter dat de naïeve toepassing van MLLMs, d.w.z. retrieval op basis van kandidaatwaarschijnlijkheid, een kandidaatprior bias introduceert, waarbij kandidaten met inherent hogere priors worden bevoordeeld boven kandidaten die relevanter zijn voor de query. Daarom stellen we een nieuw retrieval-framework voor, Bidirectional Likelihood Estimation with MLLM (BLiM), dat zowel query- als kandidaatwaarschijnlijkheden benut door het model te trainen om tekst te genereren vanuit een gegeven video, evenals videokenmerken vanuit een gegeven tekst. Bovendien introduceren we Candidate Prior Normalization (CPN), een eenvoudig maar effectief trainingsvrij scorecalibratiemodule dat is ontworpen om kandidaatprior bias in kandidaatwaarschijnlijkheid te verminderen. Op vier Text-Video Retrieval benchmarks presteert onze BLiM uitgerust met CPN gemiddeld 6,4 R@1 beter dan eerdere state-of-the-art modellen, waarbij kandidaatprior bias effectief wordt verlicht en de relevantie tussen query en kandidaat wordt benadrukt. Onze diepgaande analyse over verschillende multimodale taken buiten retrieval benadrukt de brede toepasbaarheid van CPN, dat visueel begrip verbetert door de afhankelijkheid van tekstuele priors te verminderen. Code is beschikbaar op https://github.com/mlvlab/BLiM.

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.