MM-PRM: Aprimorando o Raciocínio Matemático Multimodal com Supervisão Escalável em Nível de Etapas

MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision

May 19, 2025

Autores: Lingxiao Du, Fanqing Meng, Zongkai Liu, Zhixiang Zhou, Ping Luo, Qiaosheng Zhang, Wenqi Shao

cs.AI

Resumo

Embora os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) tenham alcançado progressos impressionantes na compreensão de visão e linguagem, eles ainda enfrentam dificuldades com raciocínios complexos de múltiplas etapas, frequentemente produzindo soluções logicamente inconsistentes ou parcialmente corretas. Uma limitação crucial reside na falta de supervisão refinada sobre as etapas intermediárias do raciocínio. Para abordar isso, propomos o MM-PRM, um modelo de recompensa de processo treinado dentro de uma estrutura totalmente automatizada e escalável. Primeiro, construímos o MM-Policy, um modelo multimodal robusto treinado em dados diversos de raciocínio matemático. Em seguida, criamos o MM-K12, um conjunto de dados curado de 10.000 problemas matemáticos multimodais com respostas verificáveis, que serve como dados iniciais. Utilizando um pipeline baseado em Monte Carlo Tree Search (MCTS), geramos mais de 700 mil anotações em nível de etapa sem rotulação humana. O PRM resultante é usado para pontuar caminhos de raciocínio candidatos na configuração de inferência Best-of-N e alcança melhorias significativas tanto em benchmarks de domínio interno (conjunto de teste MM-K12) quanto de domínio externo (OlympiadBench, MathVista, etc.). Análises adicionais confirmam a eficácia de rótulos suaves, taxas de aprendizado menores e diversidade de caminhos na otimização do desempenho do PRM. O MM-PRM demonstra que a supervisão de processo é uma ferramenta poderosa para aprimorar a robustez lógica dos sistemas de raciocínio multimodal. Disponibilizamos todos os nossos códigos e dados em https://github.com/ModalMinds/MM-PRM.

English

While Multimodal Large Language Models (MLLMs) have achieved impressive progress in vision-language understanding, they still struggle with complex multi-step reasoning, often producing logically inconsistent or partially correct solutions. A key limitation lies in the lack of fine-grained supervision over intermediate reasoning steps. To address this, we propose MM-PRM, a process reward model trained within a fully automated, scalable framework. We first build MM-Policy, a strong multimodal model trained on diverse mathematical reasoning data. Then, we construct MM-K12, a curated dataset of 10,000 multimodal math problems with verifiable answers, which serves as seed data. Leveraging a Monte Carlo Tree Search (MCTS)-based pipeline, we generate over 700k step-level annotations without human labeling. The resulting PRM is used to score candidate reasoning paths in the Best-of-N inference setup and achieves significant improvements across both in-domain (MM-K12 test set) and out-of-domain (OlympiadBench, MathVista, etc.) benchmarks. Further analysis confirms the effectiveness of soft labels, smaller learning rates, and path diversity in optimizing PRM performance. MM-PRM demonstrates that process supervision is a powerful tool for enhancing the logical robustness of multimodal reasoning systems. We release all our codes and data at https://github.com/ModalMinds/MM-PRM.