JigShape: ジグソーパズルを通じたVLMの視覚幾何学的推論の評価

要旨

ジグソーパズルの解決には、視覚的内容と幾何学的制約に関する統合的推論が必要である。しかし、既存のベンチマークは長方形の切り抜きを使用しており、テクスチャが反復する領域では曖昧な正解が生じる。我々は、タブとブランクが噛み合うピースを備えたベンチマーク\ours{}を導入する。このベンチマークでは、幾何学的制約が強い局所的互換性要件を提供し、視覚的内容と組み合わせることで曖昧さのない正解が得られる。4×4から16×16までの4つのグリッド密度にわたる95Kインスタンスにおいて、ゼロショットVLMは幾何学的推論をほぼ欠いていることが分かった。すなわち、5つのフロンティアモデルのうち1つ（GPT-5.5）だけが4×4パズルでランダムベースラインを上回り、他のすべては偶然水準にとどまった。教師ありファインチューニングは4×4で97%以上を達成する一方、すべてのモデルはより大きなグリッドで崩壊する。GPT-5.5は8×8で70%からほぼランダムな水準まで低下し、ファインチューニングされたモデルでさえ12×12では5%を下回る。この「スケーリングの崖」は、現在のアーキテクチャがピース数の増加に伴って一貫した制約充足を維持できないことを示唆している。\ours{}は、拡張可能な幾何学的推論を視覚言語モデルにとっての未解決の課題として確立する。

English

Jigsaw puzzle solving requires jointly reasoning about visual content and geometric constraints, yet existing benchmarks use rectangular cuts that create ambiguous ground truth in texture-repeated regions. We introduce \ours{}, a benchmark with tab-and-blank interlocking pieces where geometric constraints provide strong local compatibility requirements that, combined with visual content, yield unambiguous ground truth. Across 95K instances at four grid densities (4times4 to 16times16), we find that zero-shot VLMs largely lack geometric reasoning: only one of five frontier models (GPT-5.5) exceeds random baseline on 4times4 puzzles, while all others perform at chance level. While supervised fine-tuning achieves >97\% on 4times4, all models collapse on larger grids: GPT-5.5 drops from 70\% to near-random on 8times8, and even fine-tuned models fall below 5\% on 12times12. This ``scaling cliff'' suggests current architectures cannot maintain consistent constraint satisfaction as the number of pieces increases. establishes scalable geometric reasoning as an open challenge for vision-language models.