We-Math: Bereikt uw grote multimodale model mensachtig wiskundig redeneren?

Samenvatting

Visueel wiskundig redeneren, als een fundamentele visuele redeneervaardigheid, heeft brede aandacht gekregen van de Large Multimodal Models (LMMs)-gemeenschap. Bestaande benchmarks, zoals MathVista en MathVerse, richten zich meer op resultaatgerichte prestaties maar verwaarlozen de onderliggende principes in kennisverwerving en generalisatie. Geïnspireerd door menselijk wiskundig redeneren, introduceren we WE-MATH, de eerste benchmark die specifiek is ontworpen om de probleemoplossingsprincipes te verkennen die verder gaan dan end-to-end prestaties. We hebben zorgvuldig 6,5K visuele wiskundige problemen verzameld en gecategoriseerd, die 67 hiërarchische kennisconcepten en vijf lagen van kennisgranulariteit omvatten. We ontleden samengestelde problemen in subproblemen volgens de vereiste kennisconcepten en introduceren een nieuwe vierdimensionale metriek, namelijk Onvoldoende Kennis (IK), Onvoldoende Generalisatie (IG), Volledige Beheersing (CM), en Uit het Hoofd Leren (RM), om inherente problemen in het redeneerproces van LMMs hiërarchisch te beoordelen. Met WE-MATH voeren we een grondige evaluatie uit van bestaande LMMs in visueel wiskundig redeneren en onthullen we een negatieve correlatie tussen oplossingsstappen en probleemspecifieke prestaties. We bevestigen dat het IK-probleem van LMMs effectief kan worden verbeterd via kennisuitbreidingsstrategieën. Opvallender is dat de primaire uitdaging van GPT-4o significant is verschoven van IK naar IG, waardoor het de eerste LMM is die naar het kennisgeneralisatiestadium is gevorderd. In tegenstelling daartoe vertonen andere LMMs een duidelijke neiging tot Uit het Hoofd Leren - ze lossen samengestelde problemen met meerdere kennisconcepten correct op, maar falen bij het beantwoorden van subproblemen. We verwachten dat WE-MATH nieuwe wegen zal openen voor vooruitgang in visueel wiskundig redeneren voor LMMs. De WE-MATH-gegevens en evaluatiecode zijn beschikbaar op https://github.com/We-Math/We-Math.

English

Visual mathematical reasoning, as a fundamental visual reasoning ability, has received widespread attention from the Large Multimodal Models (LMMs) community. Existing benchmarks, such as MathVista and MathVerse, focus more on the result-oriented performance but neglect the underlying principles in knowledge acquisition and generalization. Inspired by human-like mathematical reasoning, we introduce WE-MATH, the first benchmark specifically designed to explore the problem-solving principles beyond end-to-end performance. We meticulously collect and categorize 6.5K visual math problems, spanning 67 hierarchical knowledge concepts and five layers of knowledge granularity. We decompose composite problems into sub-problems according to the required knowledge concepts and introduce a novel four-dimensional metric, namely Insufficient Knowledge (IK), Inadequate Generalization (IG), Complete Mastery (CM), and Rote Memorization (RM), to hierarchically assess inherent issues in LMMs' reasoning process. With WE-MATH, we conduct a thorough evaluation of existing LMMs in visual mathematical reasoning and reveal a negative correlation between solving steps and problem-specific performance. We confirm the IK issue of LMMs can be effectively improved via knowledge augmentation strategies. More notably, the primary challenge of GPT-4o has significantly transitioned from IK to IG, establishing it as the first LMM advancing towards the knowledge generalization stage. In contrast, other LMMs exhibit a marked inclination towards Rote Memorization - they correctly solve composite problems involving multiple knowledge concepts yet fail to answer sub-problems. We anticipate that WE-MATH will open new pathways for advancements in visual mathematical reasoning for LMMs. The WE-MATH data and evaluation code are available at https://github.com/We-Math/We-Math.

We-Math: Bereikt uw grote multimodale model mensachtig wiskundig redeneren?

We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?

Samenvatting

Support