MM-PRM: Verbetering van Multimodale Wiskundige Redenering met Schaalbaar Toezicht op Stapniveau

MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision

May 19, 2025

Auteurs: Lingxiao Du, Fanqing Meng, Zongkai Liu, Zhixiang Zhou, Ping Luo, Qiaosheng Zhang, Wenqi Shao

cs.AI

Samenvatting

Hoewel Multimodale Grote Taalmodellen (MLLMs) indrukwekkende vooruitgang hebben geboekt in visueel-taalkundig begrip, hebben ze nog steeds moeite met complexe meerstaps redenering, waarbij ze vaak logisch inconsistente of gedeeltelijk correcte oplossingen produceren. Een belangrijke beperking ligt in het gebrek aan gedetailleerd toezicht op tussenliggende redeneerstappen. Om dit aan te pakken, stellen we MM-PRM voor, een procesbeloningsmodel dat is getraind binnen een volledig geautomatiseerd, schaalbaar raamwerk. We bouwen eerst MM-Policy, een sterk multimodaal model dat is getraind op diverse wiskundige redeneergegevens. Vervolgens construeren we MM-K12, een gecureerde dataset van 10.000 multimodale wiskundeproblemen met verifieerbare antwoorden, die dient als startdata. Met behulp van een Monte Carlo Tree Search (MCTS)-gebaseerde pijplijn genereren we meer dan 700k stapniveau annotaties zonder menselijke labeling. Het resulterende PRM wordt gebruikt om kandidaat-redeneerpaden te scoren in de Best-of-N inferentieopstelling en behaalt significante verbeteringen op zowel in-domein (MM-K12 testset) als out-of-domein (OlympiadBench, MathVista, etc.) benchmarks. Verdere analyse bevestigt de effectiviteit van zachte labels, kleinere leerpercentages en pad diversiteit in het optimaliseren van PRM-prestaties. MM-PRM toont aan dat procesbegeleiding een krachtig hulpmiddel is voor het verbeteren van de logische robuustheid van multimodale redeneersystemen. We maken al onze codes en data beschikbaar op https://github.com/ModalMinds/MM-PRM.

English

While Multimodal Large Language Models (MLLMs) have achieved impressive progress in vision-language understanding, they still struggle with complex multi-step reasoning, often producing logically inconsistent or partially correct solutions. A key limitation lies in the lack of fine-grained supervision over intermediate reasoning steps. To address this, we propose MM-PRM, a process reward model trained within a fully automated, scalable framework. We first build MM-Policy, a strong multimodal model trained on diverse mathematical reasoning data. Then, we construct MM-K12, a curated dataset of 10,000 multimodal math problems with verifiable answers, which serves as seed data. Leveraging a Monte Carlo Tree Search (MCTS)-based pipeline, we generate over 700k step-level annotations without human labeling. The resulting PRM is used to score candidate reasoning paths in the Best-of-N inference setup and achieves significant improvements across both in-domain (MM-K12 test set) and out-of-domain (OlympiadBench, MathVista, etc.) benchmarks. Further analysis confirms the effectiveness of soft labels, smaller learning rates, and path diversity in optimizing PRM performance. MM-PRM demonstrates that process supervision is a powerful tool for enhancing the logical robustness of multimodal reasoning systems. We release all our codes and data at https://github.com/ModalMinds/MM-PRM.