ChatPaper.aiChatPaper

Verwirrt von Rätseln: Wenn Vision-Sprache-Modelle keine Hinweise verstehen

Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

May 29, 2025
Autoren: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan
cs.AI

Zusammenfassung

Rebus-Rätsel, visuelle Rätsel, die Sprache durch Bildsprache, räumliche Anordnung und symbolische Substitution kodieren, stellen eine einzigartige Herausforderung für aktuelle Vision-Language-Modelle (VLMs) dar. Im Gegensatz zu traditionellen Aufgaben wie Bildbeschreibung oder Fragebeantwortung erfordert das Lösen von Rebus-Rätseln multimodale Abstraktion, symbolisches Denken sowie ein Verständnis für kulturelle, phonetische und linguistische Wortspiele. In diesem Artikel untersuchen wir die Fähigkeit zeitgenössischer VLMs, Rebus-Rätsel zu interpretieren und zu lösen, indem wir einen manuell erstellten und annotierten Benchmark mit vielfältigen englischsprachigen Rebus-Rätseln erstellen, die von einfachen bildhaften Substitutionen bis hin zu räumlich abhängigen Hinweisen (z. B. „head“ über „heels“) reichen. Wir analysieren, wie verschiedene VLMs abschneiden, und unsere Ergebnisse zeigen, dass VLMs zwar überraschende Fähigkeiten beim Entschlüsseln einfacher visueller Hinweise aufweisen, jedoch erheblich mit Aufgaben kämpfen, die abstraktes Denken, laterales Denken und das Verständnis visueller Metaphern erfordern.
English
Rebus puzzles, visual riddles that encode language through imagery, spatial arrangement, and symbolic substitution, pose a unique challenge to current vision-language models (VLMs). Unlike traditional image captioning or question answering tasks, rebus solving requires multi-modal abstraction, symbolic reasoning, and a grasp of cultural, phonetic and linguistic puns. In this paper, we investigate the capacity of contemporary VLMs to interpret and solve rebus puzzles by constructing a hand-generated and annotated benchmark of diverse English-language rebus puzzles, ranging from simple pictographic substitutions to spatially-dependent cues ("head" over "heels"). We analyze how different VLMs perform, and our findings reveal that while VLMs exhibit some surprising capabilities in decoding simple visual clues, they struggle significantly with tasks requiring abstract reasoning, lateral thinking, and understanding visual metaphors.
PDF52May 30, 2025