MetaphorVU: К метафорическому пониманию видео

Аннотация

Метафорические видео широко распространены в различных реальных сценариях для передачи сложных идей, и их понимание обычно требует когнитивных способностей высокого уровня. Отсутствие систематических исследований в области понимания метафорических видео не только ограничивает применимость MLLM в реальных условиях, но и препятствует тщательной оценке их когнитивных способностей высокого уровня. Чтобы восполнить этот пробел, мы предлагаем MetaphorVU-Bench — первый систематический и всеобъемлющий бенчмарк, предназначенный для понимания метафорических видео. В ходе экспериментов мы обнаружили, что современные MLLM испытывают трудности с точным пониманием метафорических видео, значительно отставая от человеческого уровня, главным образом из-за несовершенного кросс-доменного отображения. Основываясь на этом выводе, мы построили граф знаний метафор в качестве дополнения к отображению и предлагаем MetaphorBoost — фреймворк улучшения на этапе инференса, обеспечивающий стабильное повышение производительности. Наш бенчмарк, анализ и метод предоставляют полезные идеи и основу для будущих исследований по развитию MLLM.

English

Metaphorical videos are prevalent across various real-world scenarios to convey complex ideas, and understanding them typically requires high-order cognitive capabilities. The lack of systematic studies on metaphorical video understanding not only constrains the real-world applicability of MLLMs but also impedes the thorough assessment of their high-order cognitive capabilities. To bridge this gap, we propose MetaphorVU-Bench, the first systematic and comprehensive benchmark dedicated to metaphorical video understanding. Through experiments, we find current MLLMs struggle with accurate metaphorical video understanding, lagging far behind human level, primarily due to defective cross-domain mapping. Motivated by this finding, we construct a metaphor knowledge graph as mapping augmentation and propose MetaphorBoost, an inference-time enhancement framework achieving consistent performance improvement. Our benchmark, analysis, and method provide useful insights and a foundation for future research on advancing MLLMs.