We-Math: ¿Alcanza tu modelo multimodal grande un razonamiento matemático similar al humano?

We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?

July 1, 2024

Autores: Runqi Qiao, Qiuna Tan, Guanting Dong, Minhui Wu, Chong Sun, Xiaoshuai Song, Zhuoma GongQue, Shanglin Lei, Zhe Wei, Miaoxuan Zhang, Runfeng Qiao, Yifan Zhang, Xiao Zong, Yida Xu, Muxi Diao, Zhimin Bao, Chen Li, Honggang Zhang

cs.AI

Resumen

El razonamiento matemático visual, como una habilidad fundamental de razonamiento visual, ha recibido una atención generalizada por parte de la comunidad de Modelos Multimodales de Gran Escala (LMMs). Los benchmarks existentes, como MathVista y MathVerse, se centran más en el rendimiento orientado a resultados, pero descuidan los principios subyacentes en la adquisición y generalización del conocimiento. Inspirados por el razonamiento matemático similar al humano, presentamos WE-MATH, el primer benchmark diseñado específicamente para explorar los principios de resolución de problemas más allá del rendimiento de extremo a extremo. Recopilamos y categorizamos meticulosamente 6.5K problemas matemáticos visuales, abarcando 67 conceptos de conocimiento jerárquicos y cinco niveles de granularidad del conocimiento. Descomponemos problemas compuestos en subproblemas según los conceptos de conocimiento requeridos e introducimos una nueva métrica de cuatro dimensiones, a saber, Conocimiento Insuficiente (IK), Generalización Inadecuada (IG), Dominio Completo (CM) y Memorización Mecánica (RM), para evaluar jerárquicamente los problemas inherentes en el proceso de razonamiento de los LMMs. Con WE-MATH, realizamos una evaluación exhaustiva de los LMMs existentes en el razonamiento matemático visual y revelamos una correlación negativa entre los pasos de resolución y el rendimiento específico del problema. Confirmamos que el problema de IK en los LMMs puede mejorarse efectivamente mediante estrategias de aumento de conocimiento. Más notablemente, el principal desafío de GPT-4o ha transitado significativamente de IK a IG, estableciéndolo como el primer LMM que avanza hacia la etapa de generalización del conocimiento. En contraste, otros LMMs muestran una marcada inclinación hacia la Memorización Mecánica: resuelven correctamente problemas compuestos que involucran múltiples conceptos de conocimiento, pero fallan al responder subproblemas. Anticipamos que WE-MATH abrirá nuevas vías para avances en el razonamiento matemático visual para los LMMs. Los datos de WE-MATH y el código de evaluación están disponibles en https://github.com/We-Math/We-Math.

English

Visual mathematical reasoning, as a fundamental visual reasoning ability, has received widespread attention from the Large Multimodal Models (LMMs) community. Existing benchmarks, such as MathVista and MathVerse, focus more on the result-oriented performance but neglect the underlying principles in knowledge acquisition and generalization. Inspired by human-like mathematical reasoning, we introduce WE-MATH, the first benchmark specifically designed to explore the problem-solving principles beyond end-to-end performance. We meticulously collect and categorize 6.5K visual math problems, spanning 67 hierarchical knowledge concepts and five layers of knowledge granularity. We decompose composite problems into sub-problems according to the required knowledge concepts and introduce a novel four-dimensional metric, namely Insufficient Knowledge (IK), Inadequate Generalization (IG), Complete Mastery (CM), and Rote Memorization (RM), to hierarchically assess inherent issues in LMMs' reasoning process. With WE-MATH, we conduct a thorough evaluation of existing LMMs in visual mathematical reasoning and reveal a negative correlation between solving steps and problem-specific performance. We confirm the IK issue of LMMs can be effectively improved via knowledge augmentation strategies. More notably, the primary challenge of GPT-4o has significantly transitioned from IK to IG, establishing it as the first LMM advancing towards the knowledge generalization stage. In contrast, other LMMs exhibit a marked inclination towards Rote Memorization - they correctly solve composite problems involving multiple knowledge concepts yet fail to answer sub-problems. We anticipate that WE-MATH will open new pathways for advancements in visual mathematical reasoning for LMMs. The WE-MATH data and evaluation code are available at https://github.com/We-Math/We-Math.