ChatPaper.aiChatPaper

Озадачены головоломками: когда модели "зрение-язык" не могут уловить подсказку

Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

May 29, 2025
Авторы: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan
cs.AI

Аннотация

Ребусы, визуальные головоломки, кодирующие язык через образы, пространственное расположение и символические замены, представляют уникальную задачу для современных моделей обработки зрения и языка (VLMs). В отличие от традиционных задач, таких как генерация подписей к изображениям или ответы на вопросы, решение ребусов требует многомодальной абстракции, символического мышления и понимания культурных, фонетических и лингвистических каламбуров. В данной статье мы исследуем способность современных VLMs интерпретировать и решать ребусы, создавая вручную аннотированный набор разнообразных англоязычных ребусов, начиная от простых пиктографических замен до пространственно-зависимых подсказок (например, "head" над "heels"). Мы анализируем, как различные VLMs справляются с этими задачами, и наши результаты показывают, что, хотя модели демонстрируют удивительные способности в расшифровке простых визуальных подсказок, они значительно затрудняются с задачами, требующими абстрактного мышления, нестандартного подхода и понимания визуальных метафор.
English
Rebus puzzles, visual riddles that encode language through imagery, spatial arrangement, and symbolic substitution, pose a unique challenge to current vision-language models (VLMs). Unlike traditional image captioning or question answering tasks, rebus solving requires multi-modal abstraction, symbolic reasoning, and a grasp of cultural, phonetic and linguistic puns. In this paper, we investigate the capacity of contemporary VLMs to interpret and solve rebus puzzles by constructing a hand-generated and annotated benchmark of diverse English-language rebus puzzles, ranging from simple pictographic substitutions to spatially-dependent cues ("head" over "heels"). We analyze how different VLMs perform, and our findings reveal that while VLMs exhibit some surprising capabilities in decoding simple visual clues, they struggle significantly with tasks requiring abstract reasoning, lateral thinking, and understanding visual metaphors.
PDF52May 30, 2025