Bidirektionale Wahrscheinlichkeitsschätzung mit multimodalen Large Language Models für Text-Video-Retrieval

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

papers.authors: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

papers.abstract

Text-Video Retrieval zielt darauf ab, den relevantesten Text- (oder Video-) Kandidaten basierend auf einer Video- (oder Text-) Anfrage aus großen Online-Datenbanken zu finden. Aktuelle Arbeiten nutzen multimodale große Sprachmodelle (MLLMs), um die Retrieval-Leistung zu verbessern, insbesondere bei langen oder komplexen Anfrage-Kandidaten-Paaren. Wir beobachten jedoch, dass die naive Anwendung von MLLMs, d.h. das Retrieval basierend auf der Kandidatenwahrscheinlichkeit, eine Verzerrung durch die Kandidatenpriorität einführt, wodurch Kandidaten mit inhärent höheren Prioritäten gegenüber solchen, die relevanter für die Anfrage sind, bevorzugt werden. Daher schlagen wir ein neuartiges Retrieval-Framework vor, Bidirectional Likelihood Estimation with MLLM (BLiM), das sowohl die Anfrage- als auch die Kandidatenwahrscheinlichkeit nutzt, indem das Modell trainiert wird, Text aus einem gegebenen Video sowie Videomerkmale aus einem gegebenen Text zu generieren. Darüber hinaus führen wir Candidate Prior Normalization (CPN) ein, ein einfaches, aber effektives, trainingsfreies Score-Kalibrierungsmodul, das entwickelt wurde, um die Verzerrung durch die Kandidatenpriorität in der Kandidatenwahrscheinlichkeit zu mildern. Auf vier Text-Video Retrieval Benchmarks übertrifft unser mit CPN ausgestattetes BLiM frühere State-of-the-Art-Modelle im Durchschnitt um 6,4 R@1, wodurch die Verzerrung durch die Kandidatenpriorität effektiv gemildert und die Relevanz zwischen Anfrage und Kandidat betont wird. Unsere detaillierte Analyse über verschiedene multimodale Aufgaben hinaus zeigt die breite Anwendbarkeit von CPN, das das visuelle Verständnis verbessert, indem es die Abhängigkeit von textuellen Prioritäten reduziert. Der Code ist verfügbar unter https://github.com/mlvlab/BLiM.

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.