Melhore o Raciocínio Matemático em Modelos de Linguagem por meio de Supervisão Automatizada de Processos

Improve Mathematical Reasoning in Language Models by Automated Process Supervision

June 5, 2024

Autores: Liangchen Luo, Yinxiao Liu, Rosanne Liu, Samrat Phatale, Harsh Lara, Yunxuan Li, Lei Shu, Yun Zhu, Lei Meng, Jiao Sun, Abhinav Rastogi

cs.AI

Resumo

Tarefas complexas de raciocínio em múltiplos passos, como resolver problemas matemáticos ou gerar código, continuam sendo um desafio significativo mesmo para os modelos de linguagem de grande escala (LLMs) mais avançados. Verificar as saídas dos LLMs com um Modelo de Recompensa de Resultado (ORM) é uma técnica padrão no momento da inferência que visa melhorar o desempenho de raciocínio dos LLMs. No entanto, isso ainda se mostra insuficiente para tarefas de raciocínio com uma cadeia de raciocínio longa ou de múltiplos saltos, onde os resultados intermediários não são adequadamente recompensados ou penalizados. A supervisão de processo aborda essa limitação ao atribuir recompensas intermediárias durante o processo de raciocínio. Até o momento, os métodos usados para coletar dados de supervisão de processo dependiam de anotação humana ou de estimativa de Monte Carlo por etapa, ambos proibitivamente caros para escalar, dificultando assim a ampla aplicação dessa técnica. Em resposta a esse desafio, propomos um novo algoritmo de Busca em Árvore de Monte Carlo (MCTS) no estilo dividir para conquistar, chamado OmegaPRM, para a coleta eficiente de dados de supervisão de processo de alta qualidade. Esse algoritmo identifica rapidamente o primeiro erro na Cadeia de Pensamento (CoT) com busca binária e equilibra os exemplos positivos e negativos, garantindo assim eficiência e qualidade. Como resultado, conseguimos coletar mais de 1,5 milhão de anotações de supervisão de processo para treinar um Modelo de Recompensa de Processo (PRM). Utilizando essa supervisão de processo totalmente automatizada junto com o algoritmo de autoconsistência ponderada, aprimoramos o desempenho de raciocínio matemático do modelo Gemini Pro ajustado por instrução, alcançando uma taxa de sucesso de 69,4% no benchmark MATH, uma melhoria relativa de 36% em relação ao desempenho de 51% do modelo base. Além disso, todo o processo opera sem qualquer intervenção humana, tornando nosso método financeiramente e computacionalmente mais eficiente em comparação com os métodos existentes.

English

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named OmegaPRM for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train a Process Reward Model (PRM). Utilizing this fully automated process supervision alongside the weighted self-consistency algorithm, we have enhanced the instruction tuned Gemini Pro model's math reasoning performance, achieving a 69.4\% success rate on the MATH benchmark, a 36\% relative improvement from the 51\% base model performance. Additionally, the entire process operates without any human intervention, making our method both financially and computationally cost-effective compared to existing methods.