VisualPuzzles: Desacoplando la Evaluación del Razonamiento Multimodal del Conocimiento de Dominio

VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge

April 14, 2025

Autores: Yueqi Song, Tianyue Ou, Yibo Kong, Zecheng Li, Graham Neubig, Xiang Yue

cs.AI

Resumen

Los puntos de referencia multimodales actuales a menudo confunden el razonamiento con el conocimiento específico del dominio, lo que dificulta aislar y evaluar las habilidades de razonamiento general en entornos no especializados. Para abordar esto, presentamos VisualPuzzles, un punto de referencia que se enfoca en el razonamiento visual mientras minimiza deliberadamente la dependencia del conocimiento especializado. VisualPuzzles consta de preguntas diversas que abarcan cinco categorías: razonamiento algorítmico, analógico, deductivo, inductivo y espacial. Una fuente importante de nuestras preguntas son las traducciones manuales de preguntas de razonamiento lógico del Examen de Servicio Civil Chino. Los experimentos muestran que VisualPuzzles requiere significativamente menos conocimiento específico del dominio y un razonamiento más complejo en comparación con puntos de referencia como MMMU, lo que nos permite evaluar mejor el razonamiento multimodal genuino. Las evaluaciones muestran que los modelos de lenguaje multimodal de última generación se quedan consistentemente atrás del rendimiento humano en VisualPuzzles, y que un buen desempeño en puntos de referencia intensivos en conocimiento no necesariamente se traduce en éxito en tareas centradas en el razonamiento y ligeras en conocimiento. Además, las mejoras de razonamiento, como escalar el cómputo de inferencia (con modos de "pensar"), producen ganancias inconsistentes entre modelos y tipos de tareas, y no observamos una correlación clara entre el tamaño del modelo y el rendimiento. También encontramos que los modelos exhiben patrones de razonamiento y respuesta diferentes en VisualPuzzles en comparación con puntos de referencia que enfatizan más el conocimiento. VisualPuzzles ofrece una lente más clara a través de la cual evaluar las capacidades de razonamiento más allá de la recuperación de hechos y el conocimiento del dominio.

English

Current multimodal benchmarks often conflate reasoning with domain-specific knowledge, making it difficult to isolate and evaluate general reasoning abilities in non-expert settings. To address this, we introduce VisualPuzzles, a benchmark that targets visual reasoning while deliberately minimizing reliance on specialized knowledge. VisualPuzzles consists of diverse questions spanning five categories: algorithmic, analogical, deductive, inductive, and spatial reasoning. One major source of our questions is manually translated logical reasoning questions from the Chinese Civil Service Examination. Experiments show that VisualPuzzles requires significantly less intensive domain-specific knowledge and more complex reasoning compared to benchmarks like MMMU, enabling us to better evaluate genuine multimodal reasoning. Evaluations show that state-of-the-art multimodal large language models consistently lag behind human performance on VisualPuzzles, and that strong performance on knowledge-intensive benchmarks does not necessarily translate to success on reasoning-focused, knowledge-light tasks. Additionally, reasoning enhancements such as scaling up inference compute (with "thinking" modes) yield inconsistent gains across models and task types, and we observe no clear correlation between model size and performance. We also found that models exhibit different reasoning and answering patterns on VisualPuzzles compared to benchmarks with heavier emphasis on knowledge. VisualPuzzles offers a clearer lens through which to evaluate reasoning capabilities beyond factual recall and domain knowledge.