PRISM-Bench: Un Benchmark de Tareas Visuales Basadas en Puzles con Detección de Errores en Cadenas de Razonamiento

PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection

October 27, 2025

Autores: Yusu Qian, Cheng Wan, Chao Jia, Yinfei Yang, Qingyu Zhao, Zhe Gan

cs.AI

Resumen

Presentamos PRISM-Bench, un benchmark de desafíos visuales basados en rompecabezas diseñado para evaluar no solo si los modelos pueden resolver problemas, sino también cómo se desarrolla su razonamiento. A diferencia de evaluaciones previas que solo miden la precisión de la respuesta final, PRISM-Bench introduce una tarea diagnóstica: dado un rompecabezas visual y una cadena de pensamiento (CoT) paso a paso que contiene exactamente un error, los modelos deben identificar el primer paso incorrecto. Este escenario permite una evaluación detallada de la coherencia lógica, la detección de errores y el razonamiento visual. Los rompecabezas en PRISM-Bench requieren un razonamiento simbólico, geométrico y analógico de múltiples pasos, resistiéndose a los atajos basados en la coincidencia superficial de patrones. Las evaluaciones en modelos MLLM de última generación revelan una brecha persistente entre la generación fluida y el razonamiento fiel: los modelos que producen CoT plausibles a menudo fallan en localizar fallos lógicos simples. Al separar la generación de respuestas de la verificación del razonamiento, PRISM-Bench ofrece una lente más nítida sobre la competencia en el razonamiento multimodal y subraya la necesidad de protocolos de evaluación diagnóstica en el desarrollo de MLLM confiables.

English

We introduce PRISM-Bench, a benchmark of puzzle-based visual challenges designed to evaluate not only whether models can solve problems, but how their reasoning unfolds. Unlike prior evaluations that measure only final-answer accuracy, PRISM-Bench introduces a diagnostic task: given a visual puzzle and a step-by-step chain-of-thought (CoT) containing exactly one error, models must identify the first incorrect step. This setting enables fine-grained assessment of logical consistency, error detection, and visual reasoning. The puzzles in PRISM-Bench require multi-step symbolic, geometric, and analogical reasoning, resisting shortcuts based on superficial pattern matching. Evaluations across state-of-the-art MLLMs reveal a persistent gap between fluent generation and faithful reasoning: models that produce plausible CoTs often fail to locate simple logical faults. By disentangling answer generation from reasoning verification, PRISM-Bench offers a sharper lens on multimodal reasoning competence and underscores the need for diagnostic evaluation protocols in the development of trustworthy MLLMs.