JigShape: 직소 퍼즐을 통한 VLM의 시각-기하 추론 평가

초록

직소 퍼즐 해결은 시각적 내용과 기하학적 제약 조건에 대한 공동 추론을 요구하지만, 기존 벤치마크는 텍스처가 반복되는 영역에서 모호한 정답을 만들어내는 직사각형 절단을 사용한다. 본 논문에서는 탭-앤-블랭크(tab-and-blank) 방식으로 맞물리는 조각으로 구성된 벤치마크 \ours{}를 소개한다. 이 벤치마크에서 기하학적 제약은 강한 국소적 호환성 요구사항을 제공하며, 이는 시각적 내용과 결합하여 모호하지 않은 정답을 산출한다. 4×4에서 16×16까지의 네 가지 격자 밀도에 걸친 95,000개 인스턴스에서, 제로샷 VLM(시각-언어 모델)은 대체로 기하학적 추론이 부족함을 확인했다. 다섯 개의 최첨단 모델 중 오직 하나(GPT-5.5)만이 4×4 퍼즐에서 무작위 기준선을 초과했으며, 나머지 모든 모델은 우연 수준의 성능을 보였다. 지도 미세 조정은 4×4에서 97% 이상을 달성하지만, 모든 모델은 더 큰 격자에서 붕괴한다: GPT-5.5는 8×8에서 70%에서 거의 무작위 수준으로 떨어지고, 미세 조정된 모델조차 12×12에서 5% 미만으로 떨어진다. 이러한 "스케일링 절벽(scaling cliff)"은 현재 아키텍처가 조각 수가 증가함에 따라 일관된 제약 조건 충족을 유지할 수 없음을 시사한다. \ours{}는 확장 가능한 기하학적 추론을 시각-언어 모델의 열린 과제로 확립한다.

English

Jigsaw puzzle solving requires jointly reasoning about visual content and geometric constraints, yet existing benchmarks use rectangular cuts that create ambiguous ground truth in texture-repeated regions. We introduce \ours{}, a benchmark with tab-and-blank interlocking pieces where geometric constraints provide strong local compatibility requirements that, combined with visual content, yield unambiguous ground truth. Across 95K instances at four grid densities (4times4 to 16times16), we find that zero-shot VLMs largely lack geometric reasoning: only one of five frontier models (GPT-5.5) exceeds random baseline on 4times4 puzzles, while all others perform at chance level. While supervised fine-tuning achieves >97\% on 4times4, all models collapse on larger grids: GPT-5.5 drops from 70\% to near-random on 8times8, and even fine-tuned models fall below 5\% on 12times12. This ``scaling cliff'' suggests current architectures cannot maintain consistent constraint satisfaction as the number of pieces increases. establishes scalable geometric reasoning as an open challenge for vision-language models.