Двунаправленная оценка правдоподобия с использованием мультимодальных больших языковых моделей для поиска текст-видео

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

Авторы: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

Аннотация

Задача поиска текст-видео (Text-Video Retrieval) заключается в нахождении наиболее релевантного текстового (или видеоролика) кандидата для заданного видеозапроса (или текстового запроса) из крупномасштабных онлайн-баз данных. В последних работах используются многомодальные большие языковые модели (MLLMs) для улучшения поиска, особенно для длинных или сложных пар запрос-кандидат. Однако мы наблюдаем, что наивное применение MLLMs, а именно поиск на основе вероятности кандидата, приводит к смещению в сторону априорных предпочтений, отдавая предпочтение кандидатам с изначально более высокими априорными вероятностями, а не тем, которые более релевантны запросу. Для решения этой проблемы мы предлагаем новый подход к поиску — Bidirectional Likelihood Estimation with MLLM (BLiM), который учитывает как вероятность запроса, так и вероятность кандидата, обучая модель генерировать текст на основе заданного видео, а также видеопризнаки на основе заданного текста. Кроме того, мы представляем модуль нормализации априорных вероятностей кандидатов (Candidate Prior Normalization, CPN), простой, но эффективный метод калибровки оценок, не требующий обучения, который предназначен для устранения смещения априорных вероятностей кандидатов. На четырех бенчмарках для задачи поиска текст-видео наш подход BLiM, оснащенный CPN, превосходит предыдущие модели с наилучшими результатами в среднем на 6.4 R@1, эффективно устраняя смещение априорных вероятностей и подчеркивая релевантность запроса и кандидата. Наш детальный анализ в различных многомодальных задачах, выходящих за рамки поиска, подчеркивает широкую применимость CPN, который улучшает визуальное понимание, снижая зависимость от текстовых априорных вероятностей. Код доступен по адресу https://github.com/mlvlab/BLiM.

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.