MetaphorVU: Auf dem Weg zum metaphorischen Videoverständnis

Zusammenfassung

Metaphorische Videos sind in verschiedenen realen Szenarien weit verbreitet, um komplexe Ideen zu vermitteln, und ihr Verständnis erfordert typischerweise höhere kognitive Fähigkeiten. Das Fehlen systematischer Studien zum Verständnis metaphorischer Videos schränkt nicht nur die praktische Anwendbarkeit von MLLMs ein, sondern behindert auch die gründliche Bewertung ihrer höheren kognitiven Fähigkeiten. Um diese Lücke zu schließen, schlagen wir MetaphorVU-Bench vor, den ersten systematischen und umfassenden Benchmark, der dem Verständnis metaphorischer Videos gewidmet ist. Durch Experimente stellen wir fest, dass aktuelle MLLMs Schwierigkeiten mit dem genauen Verständnis metaphorischer Videos haben, weit hinter dem menschlichen Niveau zurückbleiben, hauptsächlich aufgrund fehlerhafter domänenübergreifender Zuordnung. Motiviert durch diese Erkenntnis erstellen wir einen Metaphern-Wissensgraphen als Zuordnungserweiterung und schlagen MetaphorBoost vor, ein Framework zur Verbesserung während der Inferenz, das eine konsistente Leistungssteigerung erzielt. Unser Benchmark, unsere Analyse und unsere Methode liefern nützliche Erkenntnisse und eine Grundlage für zukünftige Forschung zur Weiterentwicklung von MLLMs.

English

Metaphorical videos are prevalent across various real-world scenarios to convey complex ideas, and understanding them typically requires high-order cognitive capabilities. The lack of systematic studies on metaphorical video understanding not only constrains the real-world applicability of MLLMs but also impedes the thorough assessment of their high-order cognitive capabilities. To bridge this gap, we propose MetaphorVU-Bench, the first systematic and comprehensive benchmark dedicated to metaphorical video understanding. Through experiments, we find current MLLMs struggle with accurate metaphorical video understanding, lagging far behind human level, primarily due to defective cross-domain mapping. Motivated by this finding, we construct a metaphor knowledge graph as mapping augmentation and propose MetaphorBoost, an inference-time enhancement framework achieving consistent performance improvement. Our benchmark, analysis, and method provide useful insights and a foundation for future research on advancing MLLMs.