퍼즐에 당황한 비전-언어 모델: 힌트를 이해하지 못할 때
Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint
May 29, 2025
저자: Heekyung Lee, Jiaxin Ge, Tsung-Han Wu, Minwoo Kang, Trevor Darrell, David M. Chan
cs.AI
초록
리버스 퍼즐은 이미지, 공간적 배열, 상징적 대체를 통해 언어를 암호화하는 시각적 수수께끼로, 현재의 시각-언어 모델(VLMs)에게 독특한 도전 과제를 제시합니다. 전통적인 이미지 캡셔닝이나 질문 응답 작업과 달리, 리버스 퍼즐 해결은 다중 모드 추상화, 상징적 추론, 그리고 문화적, 음성적, 언어적 말장난에 대한 이해를 요구합니다. 본 논문에서는 다양한 영어 리버스 퍼즐로 구성된 수작업 생성 및 주석 처리된 벤치마크를 구축하여, 단순한 그림 문자 대체부터 공간적 단서("head" over "heels")에 이르기까지 현대 VLMs의 해석 및 해결 능력을 조사합니다. 우리는 다양한 VLMs의 성능을 분석한 결과, VLMs이 단순한 시각적 단서를 해독하는 데는 놀라운 능력을 보이지만, 추상적 추론, 횡적 사고, 시각적 은유 이해가 필요한 작업에서는 상당히 어려움을 겪는 것을 발견했습니다.
English
Rebus puzzles, visual riddles that encode language through imagery, spatial
arrangement, and symbolic substitution, pose a unique challenge to current
vision-language models (VLMs). Unlike traditional image captioning or question
answering tasks, rebus solving requires multi-modal abstraction, symbolic
reasoning, and a grasp of cultural, phonetic and linguistic puns. In this
paper, we investigate the capacity of contemporary VLMs to interpret and solve
rebus puzzles by constructing a hand-generated and annotated benchmark of
diverse English-language rebus puzzles, ranging from simple pictographic
substitutions to spatially-dependent cues ("head" over "heels"). We analyze how
different VLMs perform, and our findings reveal that while VLMs exhibit some
surprising capabilities in decoding simple visual clues, they struggle
significantly with tasks requiring abstract reasoning, lateral thinking, and
understanding visual metaphors.