MetaphorVU: Naar metaforisch videobegrip

Samenvatting

Metaforische video's komen veelvuldig voor in diverse realistische scenario's om complexe ideeën over te brengen, en het begrijpen ervan vereist doorgaans hogere cognitieve vermogens. Het ontbreken van systematische studies naar het begrijpen van metaforische video's beperkt niet alleen de praktische toepasbaarheid van MMLM's, maar belemmert ook de grondige beoordeling van hun hogere cognitieve vermogens. Om deze kloof te overbruggen, introduceren we MetaphorVU-Bench, de eerste systematische en uitgebreide benchmark die specifiek gericht is op het begrijpen van metaforische video's. Uit experimenten blijkt dat huidige MMLM's moeite hebben met accuraat begrip van metaforische video's en ver achterblijven op menselijk niveau, voornamelijk vanwege gebrekkige cross-domain mapping. Naar aanleiding van deze bevinding construeren we een metaforenkennisdatagraaf als mapping-augmentatie en stellen we MetaphorBoost voor, een raamwerk voor verbetering tijdens inferentie dat consistente prestatieverbeteringen oplevert. Onze benchmark, analyse en methode bieden nuttige inzichten en een basis voor toekomstig onderzoek naar de vooruitgang van MMLM's.

English

Metaphorical videos are prevalent across various real-world scenarios to convey complex ideas, and understanding them typically requires high-order cognitive capabilities. The lack of systematic studies on metaphorical video understanding not only constrains the real-world applicability of MLLMs but also impedes the thorough assessment of their high-order cognitive capabilities. To bridge this gap, we propose MetaphorVU-Bench, the first systematic and comprehensive benchmark dedicated to metaphorical video understanding. Through experiments, we find current MLLMs struggle with accurate metaphorical video understanding, lagging far behind human level, primarily due to defective cross-domain mapping. Motivated by this finding, we construct a metaphor knowledge graph as mapping augmentation and propose MetaphorBoost, an inference-time enhancement framework achieving consistent performance improvement. Our benchmark, analysis, and method provide useful insights and a foundation for future research on advancing MLLMs.