Desconcertados por los acertijos: cuando los modelos de visión y lenguaje no captan la pista

Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

May 29, 2025

Autores: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan

cs.AI

Resumen

Los acertijos rebus, enigmas visuales que codifican lenguaje a través de imágenes, disposición espacial y sustitución simbólica, representan un desafío único para los modelos actuales de visión y lenguaje (VLMs). A diferencia de tareas tradicionales como la generación de descripciones de imágenes o la respuesta a preguntas, resolver rebus requiere abstracción multimodal, razonamiento simbólico y comprensión de juegos de palabras culturales, fonéticos y lingüísticos. En este artículo, investigamos la capacidad de los VLMs contemporáneos para interpretar y resolver acertijos rebus mediante la construcción de un conjunto de datos generado y anotado manualmente, que incluye una variedad de rebus en inglés, desde sustituciones pictográficas simples hasta pistas dependientes de la disposición espacial (como "head" sobre "heels"). Analizamos el rendimiento de diferentes VLMs, y nuestros hallazgos revelan que, aunque estos modelos muestran capacidades sorprendentes para decodificar pistas visuales simples, enfrentan dificultades significativas en tareas que requieren razonamiento abstracto, pensamiento lateral y comprensión de metáforas visuales.

English

Rebus puzzles, visual riddles that encode language through imagery, spatial arrangement, and symbolic substitution, pose a unique challenge to current vision-language models (VLMs). Unlike traditional image captioning or question answering tasks, rebus solving requires multi-modal abstraction, symbolic reasoning, and a grasp of cultural, phonetic and linguistic puns. In this paper, we investigate the capacity of contemporary VLMs to interpret and solve rebus puzzles by constructing a hand-generated and annotated benchmark of diverse English-language rebus puzzles, ranging from simple pictographic substitutions to spatially-dependent cues ("head" over "heels"). We analyze how different VLMs perform, and our findings reveal that while VLMs exhibit some surprising capabilities in decoding simple visual clues, they struggle significantly with tasks requiring abstract reasoning, lateral thinking, and understanding visual metaphors.