Estimativa de Probabilidade Bidirecional com Modelos de Linguagem de Grande Escala Multimodais para Recuperação de Texto-Vídeo

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

Autores: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

Resumo

O Text-Video Retrieval tem como objetivo encontrar o candidato de texto (ou vídeo) mais relevante dado uma consulta de vídeo (ou texto) em grandes bancos de dados online. Trabalhos recentes utilizam modelos de linguagem multimodal de grande escala (MLLMs) para melhorar a recuperação, especialmente para pares de consulta-candidato longos ou complexos. No entanto, observamos que a aplicação ingênua de MLLMs, ou seja, a recuperação baseada na probabilidade do candidato, introduz um viés de prioridade do candidato, favorecendo candidatos com prioridades inerentemente mais altas em detrimento daqueles mais relevantes para a consulta. Para isso, propomos um novo framework de recuperação, a Estimativa de Probabilidade Bidirecional com MLLM (BLiM), que aproveita tanto as probabilidades da consulta quanto do candidato, treinando o modelo para gerar texto a partir de um vídeo dado, bem como características de vídeo a partir de um texto dado. Além disso, introduzimos a Normalização de Prioridade do Candidato (CPN), um módulo simples, porém eficaz, de calibração de pontuação sem necessidade de treinamento, projetado para mitigar o viés de prioridade do candidato na probabilidade do candidato. Em quatro benchmarks de Text-Video Retrieval, nosso BLiM equipado com CPN supera os modelos state-of-the-art anteriores em 6,4 R@1 em média, aliviando efetivamente o viés de prioridade do candidato e enfatizando a relevância consulta-candidato. Nossa análise detalhada em várias tarefas multimodais além da recuperação destaca a ampla aplicabilidade do CPN, que melhora a compreensão visual ao reduzir a dependência de prioridades textuais. O código está disponível em https://github.com/mlvlab/BLiM.

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.