Perplexos com Quebra-Cabeças: Quando Modelos de Visão e Linguagem Não Conseguem Captar a Dica
Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint
May 29, 2025
Autores: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan
cs.AI
Resumo
Os enigmas rebus, charadas visuais que codificam a linguagem por meio de imagens, arranjos espaciais e substituições simbólicas, representam um desafio único para os modelos visão-linguagem (VLMs) atuais. Diferentemente de tarefas tradicionais como descrição de imagens ou respostas a perguntas, a resolução de rebus exige abstração multimodal, raciocínio simbólico e compreensão de trocadilhos culturais, fonéticos e linguísticos. Neste artigo, investigamos a capacidade dos VLMs contemporâneos de interpretar e resolver enigmas rebus, construindo um benchmark gerado e anotado manualmente com uma variedade de rebus em inglês, desde substituições pictográficas simples até pistas dependentes de arranjos espaciais (como "cabeça" sobre "calcanhares"). Analisamos o desempenho de diferentes VLMs, e nossos resultados revelam que, embora esses modelos demonstrem algumas capacidades surpreendentes na decodificação de pistas visuais simples, eles enfrentam dificuldades significativas em tarefas que exigem raciocínio abstrato, pensamento lateral e compreensão de metáforas visuais.
English
Rebus puzzles, visual riddles that encode language through imagery, spatial
arrangement, and symbolic substitution, pose a unique challenge to current
vision-language models (VLMs). Unlike traditional image captioning or question
answering tasks, rebus solving requires multi-modal abstraction, symbolic
reasoning, and a grasp of cultural, phonetic and linguistic puns. In this
paper, we investigate the capacity of contemporary VLMs to interpret and solve
rebus puzzles by constructing a hand-generated and annotated benchmark of
diverse English-language rebus puzzles, ranging from simple pictographic
substitutions to spatially-dependent cues ("head" over "heels"). We analyze how
different VLMs perform, and our findings reveal that while VLMs exhibit some
surprising capabilities in decoding simple visual clues, they struggle
significantly with tasks requiring abstract reasoning, lateral thinking, and
understanding visual metaphors.