Mejora del Razonamiento Matemático en Modelos de Lenguaje mediante Supervisión Automatizada de Procesos

Improve Mathematical Reasoning in Language Models by Automated Process Supervision

June 5, 2024

Autores: Liangchen Luo, Yinxiao Liu, Rosanne Liu, Samrat Phatale, Harsh Lara, Yunxuan Li, Lei Shu, Yun Zhu, Lei Meng, Jiao Sun, Abhinav Rastogi

cs.AI

Resumen

Las tareas complejas de razonamiento de múltiples pasos, como resolver problemas matemáticos o generar código, siguen siendo un obstáculo significativo incluso para los modelos de lenguaje más avanzados (LLMs, por sus siglas en inglés). Verificar las salidas de los LLMs con un Modelo de Recompensa de Resultados (ORM, por sus siglas en inglés) es una técnica estándar en tiempo de inferencia destinada a mejorar el rendimiento del razonamiento de los LLMs. Sin embargo, esto sigue siendo insuficiente para tareas de razonamiento con cadenas largas o de múltiples pasos, donde los resultados intermedios no son adecuadamente recompensados ni penalizados. La supervisión del proceso aborda esta limitación asignando recompensas intermedias durante el proceso de razonamiento. Hasta la fecha, los métodos utilizados para recopilar datos de supervisión del proceso han dependido de la anotación humana o de la estimación Monte Carlo por paso, ambos prohibitivamente costosos de escalar, lo que dificulta la aplicación generalizada de esta técnica. En respuesta a este desafío, proponemos un novedoso algoritmo de Búsqueda de Árbol Monte Carlo (MCTS, por sus siglas en inglés) de estilo divide y vencerás, denominado OmegaPRM, para la recopilación eficiente de datos de supervisión del proceso de alta calidad. Este algoritmo identifica rápidamente el primer error en la Cadena de Pensamiento (CoT, por sus siglas en inglés) mediante búsqueda binaria y equilibra los ejemplos positivos y negativos, asegurando así tanto la eficiencia como la calidad. Como resultado, hemos podido recopilar más de 1.5 millones de anotaciones de supervisión del proceso para entrenar un Modelo de Recompensa de Proceso (PRM, por sus siglas en inglés). Utilizando esta supervisión del proceso completamente automatizada junto con el algoritmo de autocoherencia ponderada, hemos mejorado el rendimiento del modelo Gemini Pro ajustado por instrucciones en tareas de razonamiento matemático, logrando una tasa de éxito del 69.4% en el benchmark MATH, una mejora relativa del 36% respecto al rendimiento base del modelo del 51%. Además, todo el proceso opera sin intervención humana, lo que hace que nuestro método sea tanto financiera como computacionalmente rentable en comparación con los métodos existentes.

English

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named OmegaPRM for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train a Process Reward Model (PRM). Utilizing this fully automated process supervision alongside the weighted self-consistency algorithm, we have enhanced the instruction tuned Gemini Pro model's math reasoning performance, achieving a 69.4\% success rate on the MATH benchmark, a 36\% relative improvement from the 51\% base model performance. Additionally, the entire process operates without any human intervention, making our method both financially and computationally cost-effective compared to existing methods.