MetaphorVU: hacia la comprensión de videos metafóricos

Resumen

Los videos metafóricos son frecuentes en diversos escenarios del mundo real para transmitir ideas complejas, y su comprensión generalmente requiere capacidades cognitivas de alto orden. La falta de estudios sistemáticos sobre la comprensión de videos metafóricos no solo limita la aplicabilidad práctica de los MLLMs, sino que también impide una evaluación exhaustiva de sus capacidades cognitivas de alto orden. Para abordar esta brecha, proponemos MetaphorVU-Bench, el primer punto de referencia sistemático y completo dedicado a la comprensión de videos metafóricos. Mediante experimentos, encontramos que los MLLMs actuales tienen dificultades para comprender con precisión los videos metafóricos, quedando muy por detrás del nivel humano, principalmente debido a un mapeo defectuoso entre dominios. Motivados por este hallazgo, construimos un grafo de conocimiento de metáforas como aumento del mapeo y proponemos MetaphorBoost, un marco de mejora en tiempo de inferencia que logra una mejora consistente del rendimiento. Nuestro punto de referencia, análisis y método proporcionan ideas útiles y una base para futuras investigaciones sobre el avance de los MLLMs.

English

Metaphorical videos are prevalent across various real-world scenarios to convey complex ideas, and understanding them typically requires high-order cognitive capabilities. The lack of systematic studies on metaphorical video understanding not only constrains the real-world applicability of MLLMs but also impedes the thorough assessment of their high-order cognitive capabilities. To bridge this gap, we propose MetaphorVU-Bench, the first systematic and comprehensive benchmark dedicated to metaphorical video understanding. Through experiments, we find current MLLMs struggle with accurate metaphorical video understanding, lagging far behind human level, primarily due to defective cross-domain mapping. Motivated by this finding, we construct a metaphor knowledge graph as mapping augmentation and propose MetaphorBoost, an inference-time enhancement framework achieving consistent performance improvement. Our benchmark, analysis, and method provide useful insights and a foundation for future research on advancing MLLMs.