Verward door Puzzels: Wanneer Vision-Taalmodellen Geen Hint Kunnen Nemen

Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

May 29, 2025

Auteurs: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan

cs.AI

Samenvatting

Rebusraadsels, visuele puzzels die taal coderen door middel van beeldtaal, ruimtelijke ordening en symbolische substitutie, vormen een unieke uitdaging voor huidige vision-language modellen (VLMs). In tegenstelling tot traditionele beeldbeschrijvingen of vraag-antwoordtaken vereist het oplossen van rebusraadsels multi-modale abstractie, symbolisch redeneren en een begrip van culturele, fonetische en taalkundige woordspelingen. In dit artikel onderzoeken we het vermogen van hedendaagse VLMs om rebusraadsels te interpreteren en op te lossen door het construeren van een handmatig gegenereerde en geannoteerde benchmark van diverse Engelstalige rebusraadsels, variërend van eenvoudige pictografische substituties tot ruimtelijk afhankelijke aanwijzingen ("hoofd" boven "hielen"). We analyseren hoe verschillende VLMs presteren, en onze bevindingen laten zien dat hoewel VLMs enkele verrassende capaciteiten vertonen in het decoderen van eenvoudige visuele aanwijzingen, ze aanzienlijk moeite hebben met taken die abstract redeneren, lateraal denken en het begrijpen van visuele metaforen vereisen.

English

Rebus puzzles, visual riddles that encode language through imagery, spatial arrangement, and symbolic substitution, pose a unique challenge to current vision-language models (VLMs). Unlike traditional image captioning or question answering tasks, rebus solving requires multi-modal abstraction, symbolic reasoning, and a grasp of cultural, phonetic and linguistic puns. In this paper, we investigate the capacity of contemporary VLMs to interpret and solve rebus puzzles by constructing a hand-generated and annotated benchmark of diverse English-language rebus puzzles, ranging from simple pictographic substitutions to spatially-dependent cues ("head" over "heels"). We analyze how different VLMs perform, and our findings reveal that while VLMs exhibit some surprising capabilities in decoding simple visual clues, they struggle significantly with tasks requiring abstract reasoning, lateral thinking, and understanding visual metaphors.