Perplexes par les énigmes : Quand les modèles vision-langage ne saisissent pas l'indice

Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

May 29, 2025

Auteurs: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan

cs.AI

Résumé

Les rébus, ces énigmes visuelles qui encodent le langage à travers l'imagerie, l'agencement spatial et la substitution symbolique, représentent un défi unique pour les modèles vision-langage (VLMs) actuels. Contrairement aux tâches traditionnelles de légendage d'images ou de réponse à des questions, la résolution de rébus nécessite une abstraction multimodale, un raisonnement symbolique et une compréhension des jeux de mots culturels, phonétiques et linguistiques. Dans cet article, nous étudions la capacité des VLMs contemporains à interpréter et résoudre des rébus en construisant un benchmark manuellement généré et annoté de rébus variés en langue anglaise, allant de simples substitutions pictographiques à des indices dépendants de l'espace (comme "head" au-dessus de "heels"). Nous analysons les performances de différents VLMs, et nos résultats révèlent que si les VLMs montrent certaines capacités surprenantes à décoder des indices visuels simples, ils rencontrent des difficultés significatives face aux tâches nécessitant un raisonnement abstrait, une pensée latérale et une compréhension des métaphores visuelles.

English

Rebus puzzles, visual riddles that encode language through imagery, spatial arrangement, and symbolic substitution, pose a unique challenge to current vision-language models (VLMs). Unlike traditional image captioning or question answering tasks, rebus solving requires multi-modal abstraction, symbolic reasoning, and a grasp of cultural, phonetic and linguistic puns. In this paper, we investigate the capacity of contemporary VLMs to interpret and solve rebus puzzles by constructing a hand-generated and annotated benchmark of diverse English-language rebus puzzles, ranging from simple pictographic substitutions to spatially-dependent cues ("head" over "heels"). We analyze how different VLMs perform, and our findings reveal that while VLMs exhibit some surprising capabilities in decoding simple visual clues, they struggle significantly with tasks requiring abstract reasoning, lateral thinking, and understanding visual metaphors.