Estimación de Probabilidad Bidireccional con Modelos de Lenguaje de Gran Escala Multimodales para la Recuperación de Texto-Video

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

July 31, 2025

Autores: Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

cs.AI

Resumen

La Recuperación Texto-Video tiene como objetivo encontrar el candidato de texto (o video) más relevante dado una consulta de video (o texto) en bases de datos en línea a gran escala. Trabajos recientes aprovechan modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) para mejorar la recuperación, especialmente en pares de consulta-candidato largos o complejos. Sin embargo, observamos que la aplicación ingenua de los MLLMs, es decir, la recuperación basada en la probabilidad del candidato, introduce un sesgo de prioridad del candidato, favoreciendo a aquellos con prioridades inherentemente más altas sobre los más relevantes para la consulta. Con este fin, proponemos un nuevo marco de recuperación, Estimación de Probabilidad Bidireccional con MLLM (BLiM), que aprovecha tanto las probabilidades de la consulta como del candidato al entrenar el modelo para generar texto a partir de un video dado, así como características de video a partir de un texto dado. Además, introducimos la Normalización de Prioridad del Candidato (CPN, por sus siglas en inglés), un módulo de calibración de puntuación simple pero efectivo que no requiere entrenamiento, diseñado para mitigar el sesgo de prioridad del candidato en la probabilidad del candidato. En cuatro benchmarks de Recuperación Texto-Video, nuestro BLiM equipado con CPN supera a los modelos anteriores de última generación en un promedio de 6.4 R@1, aliviando efectivamente el sesgo de prioridad del candidato y enfatizando la relevancia consulta-candidato. Nuestro análisis en profundidad en varias tareas multimodales más allá de la recuperación destaca la amplia aplicabilidad de CPN, que mejora la comprensión visual al reducir la dependencia de las prioridades textuales. El código está disponible en https://github.com/mlvlab/BLiM.

English

Text-Video Retrieval aims to find the most relevant text (or video) candidate given a video (or text) query from large-scale online databases. Recent work leverages multi-modal large language models (MLLMs) to improve retrieval, especially for long or complex query-candidate pairs. However, we observe that the naive application of MLLMs, i.e., retrieval based on candidate likelihood, introduces candidate prior bias, favoring candidates with inherently higher priors over those more relevant to the query. To this end, we propose a novel retrieval framework, Bidirectional Likelihood Estimation with MLLM (BLiM), which leverages both query and candidate likelihoods by training the model to generate text from a given video as well as video features from a given text. Furthermore, we introduce Candidate Prior Normalization (CPN), a simple yet effective training-free score calibration module designed to mitigate candidate prior bias in candidate likelihood. On four Text-Video Retrieval benchmarks, our BLiM equipped with CPN outperforms previous state-of-the-art models by 6.4 R@1 on average, effectively alleviating candidate prior bias and emphasizing query-candidate relevance. Our in-depth analysis across various multi-modal tasks beyond retrieval highlights the broad applicability of CPN which enhances visual understanding by reducing reliance on textual priors. Code is available at https://github.com/mlvlab/BLiM.