PRISM-Bench: Um Benchmark de Tarefas Visuais Baseadas em Quebra-Cabeças com Detecção de Erros em Cadeia de Pensamento

PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection

October 27, 2025

Autores: Yusu Qian, Cheng Wan, Chao Jia, Yinfei Yang, Qingyu Zhao, Zhe Gan

cs.AI

Resumo

Apresentamos o PRISM-Bench, um benchmark de desafios visuais baseados em quebra-cabeças projetado para avaliar não apenas se os modelos conseguem resolver problemas, mas como o seu raciocínio se desenrola. Diferente de avaliações anteriores que mediam apenas a precisão da resposta final, o PRISM-Bench introduz uma tarefa de diagnóstico: dado um quebra-cabeça visual e uma cadeia de pensamento (CoT) passo a passo contendo exatamente um erro, os modelos devem identificar o primeiro passo incorreto. Esta configuração permite uma avaliação refinada da consistência lógica, deteção de erros e raciocínio visual. Os quebra-cabeças no PRISM-Bench requerem raciocínio simbólico, geométrico e analógico de múltiplos passos, resistindo a atalhos baseados em correspondência superficial de padrões. Avaliações de MLLMs (Modelos de Linguagem Multimodal) de última geração revelam uma lacuna persistente entre a geração fluente e o raciocínio fidedigno: modelos que produzem CoTs plausíveis frequentemente falham em localizar falhas lógicas simples. Ao separar a geração de respostas da verificação do raciocínio, o PRISM-Bench oferece uma lente mais nítida sobre a competência de raciocínio multimodal e sublinha a necessidade de protocolos de avaliação de diagnóstico no desenvolvimento de MLLMs confiáveis.

English

We introduce PRISM-Bench, a benchmark of puzzle-based visual challenges designed to evaluate not only whether models can solve problems, but how their reasoning unfolds. Unlike prior evaluations that measure only final-answer accuracy, PRISM-Bench introduces a diagnostic task: given a visual puzzle and a step-by-step chain-of-thought (CoT) containing exactly one error, models must identify the first incorrect step. This setting enables fine-grained assessment of logical consistency, error detection, and visual reasoning. The puzzles in PRISM-Bench require multi-step symbolic, geometric, and analogical reasoning, resisting shortcuts based on superficial pattern matching. Evaluations across state-of-the-art MLLMs reveal a persistent gap between fluent generation and faithful reasoning: models that produce plausible CoTs often fail to locate simple logical faults. By disentangling answer generation from reasoning verification, PRISM-Bench offers a sharper lens on multimodal reasoning competence and underscores the need for diagnostic evaluation protocols in the development of trustworthy MLLMs.