MetaphorVU: Rumo à Compreensão de Vídeos Metafóricos

Resumo

Vídeos metafóricos são prevalentes em diversos cenários do mundo real para transmitir ideias complexas, e compreendê-los geralmente exige capacidades cognitivas de alta ordem. A ausência de estudos sistemáticos sobre a compreensão de vídeos metafóricos não apenas limita a aplicabilidade prática dos MLLMs, mas também dificulta a avaliação aprofundada de suas capacidades cognitivas de alta ordem. Para preencher essa lacuna, propomos o MetaphorVU-Bench, o primeiro benchmark sistemático e abrangente dedicado à compreensão de vídeos metafóricos. Por meio de experimentos, constatamos que os atuais MLLMs enfrentam dificuldades na compreensão precisa de vídeos metafóricos, ficando muito aquém do nível humano, principalmente devido a falhas no mapeamento entre domínios. Motivados por essa descoberta, construímos um grafo de conhecimento metafórico como aprimoramento de mapeamento e propomos o MetaphorBoost, uma estrutura de aprimoramento em tempo de inferência que alcança melhorias consistentes de desempenho. Nosso benchmark, análise e método fornecem insights úteis e uma base para pesquisas futuras no avanço dos MLLMs.

English

Metaphorical videos are prevalent across various real-world scenarios to convey complex ideas, and understanding them typically requires high-order cognitive capabilities. The lack of systematic studies on metaphorical video understanding not only constrains the real-world applicability of MLLMs but also impedes the thorough assessment of their high-order cognitive capabilities. To bridge this gap, we propose MetaphorVU-Bench, the first systematic and comprehensive benchmark dedicated to metaphorical video understanding. Through experiments, we find current MLLMs struggle with accurate metaphorical video understanding, lagging far behind human level, primarily due to defective cross-domain mapping. Motivated by this finding, we construct a metaphor knowledge graph as mapping augmentation and propose MetaphorBoost, an inference-time enhancement framework achieving consistent performance improvement. Our benchmark, analysis, and method provide useful insights and a foundation for future research on advancing MLLMs.