PRISM-Bench：推論過程の誤り検出を伴うパズル型視覚タスクのベンチマーク

要旨

本論文では、モデルが問題を解決できるかどうかだけでなく、その推論過程を評価するために設計されたパズルベースの視覚的課題のベンチマーク「PRISM-Bench」を提案する。最終回答の正答率のみを測定する従来の評価とは異なり、PRISM-Benchは診断タスクを導入する。具体的には、視覚的パズルと、正確に1つの誤りを含む段階的思考連鎖（CoT）が与えられたとき、モデルは最初の誤ったステップを特定しなければならない。この設定により、論理的一貫性、誤り検出、視覚的推論のきめ細かい評価が可能となる。PRISM-Benchのパズルは、多段階の記号的推論、幾何学的推論、類推的推論を必要とし、表面的なパターンマッチングに基づく近道を許さない。最先端のMLLMを用いた評価により、流暢な生成能力と忠実な推論能力の間には持続的な隔たりがあることが明らかになった。説得力のあるCoTを生成するモデルでさえ、単純な論理的誤りを特定できない場合が多々あったのである。回答生成と推論検証を分離することで、PRISM-Benchはマルチモーダル推論能力をより鋭く捉えるレンズを提供し、信頼できるMLLMの開発における診断的評価プロトコルの必要性を浮き彫りにする。

English

We introduce PRISM-Bench, a benchmark of puzzle-based visual challenges designed to evaluate not only whether models can solve problems, but how their reasoning unfolds. Unlike prior evaluations that measure only final-answer accuracy, PRISM-Bench introduces a diagnostic task: given a visual puzzle and a step-by-step chain-of-thought (CoT) containing exactly one error, models must identify the first incorrect step. This setting enables fine-grained assessment of logical consistency, error detection, and visual reasoning. The puzzles in PRISM-Bench require multi-step symbolic, geometric, and analogical reasoning, resisting shortcuts based on superficial pattern matching. Evaluations across state-of-the-art MLLMs reveal a persistent gap between fluent generation and faithful reasoning: models that produce plausible CoTs often fail to locate simple logical faults. By disentangling answer generation from reasoning verification, PRISM-Bench offers a sharper lens on multimodal reasoning competence and underscores the need for diagnostic evaluation protocols in the development of trustworthy MLLMs.

PRISM-Bench：推論過程の誤り検出を伴うパズル型視覚タスクのベンチマーク

PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection

要旨

Support