PRISM-Bench: Бенчмарк визуальных головоломок с детекцией ошибок в цепочке рассуждений

PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection

October 27, 2025

Авторы: Yusu Qian, Cheng Wan, Chao Jia, Yinfei Yang, Qingyu Zhao, Zhe Gan

cs.AI

Аннотация

Мы представляем PRISM-Bench — набор визуальных головоломок, разработанный для оценки не только способности моделей решать задачи, но и хода их рассуждений. В отличие от предыдущих оценок, измерявших лишь точность конечного ответа, PRISM-Bench предлагает диагностическую задачу: получив визуальную головоломку и пошаговую цепочку рассуждений, содержащую ровно одну ошибку, модели должны идентифицировать первый неверный шаг. Такая постановка позволяет проводить детальную оценку логической согласованности, обнаружения ошибок и визуального мышления. Головоломки в PRISM-Bench требуют многошагового символьного, геометрического и аналогического рассуждения, препятствуя использованию ярлыков на основе поверхностного сопоставления паттернов. Оценки передовых мультимодальных языковых моделей выявляют устойчивый разрыв между беглостью генерации и достоверностью рассуждений: модели, выдающие правдоподобные цепочки мыслей, часто не могут обнаружить простые логические ошибки. Разделяя генерацию ответа и верификацию рассуждений, PRISM-Bench предлагает более точный инструмент для оценки компетенции в мультимодальном мышлении и подчеркивает необходимость диагностических протоколов оценки при разработке надежных мультимодальных языковых моделей.

English

We introduce PRISM-Bench, a benchmark of puzzle-based visual challenges designed to evaluate not only whether models can solve problems, but how their reasoning unfolds. Unlike prior evaluations that measure only final-answer accuracy, PRISM-Bench introduces a diagnostic task: given a visual puzzle and a step-by-step chain-of-thought (CoT) containing exactly one error, models must identify the first incorrect step. This setting enables fine-grained assessment of logical consistency, error detection, and visual reasoning. The puzzles in PRISM-Bench require multi-step symbolic, geometric, and analogical reasoning, resisting shortcuts based on superficial pattern matching. Evaluations across state-of-the-art MLLMs reveal a persistent gap between fluent generation and faithful reasoning: models that produce plausible CoTs often fail to locate simple logical faults. By disentangling answer generation from reasoning verification, PRISM-Bench offers a sharper lens on multimodal reasoning competence and underscores the need for diagnostic evaluation protocols in the development of trustworthy MLLMs.