Migliorare il Ragionamento Matematico nei Modelli Linguistici attraverso la Supervisione Automatica dei Processi

Improve Mathematical Reasoning in Language Models by Automated Process Supervision

June 5, 2024

Autori: Liangchen Luo, Yinxiao Liu, Rosanne Liu, Samrat Phatale, Harsh Lara, Yunxuan Li, Lei Shu, Yun Zhu, Lei Meng, Jiao Sun, Abhinav Rastogi

cs.AI

Abstract

I compiti di ragionamento complessi e multi-step, come la risoluzione di problemi matematici o la generazione di codice, rappresentano ancora una sfida significativa anche per i più avanzati modelli linguistici di grandi dimensioni (LLM). La verifica degli output degli LLM mediante un Outcome Reward Model (ORM) è una tecnica standard al momento dell'inferenza, mirata a migliorare le prestazioni di ragionamento degli LLM. Tuttavia, questo approccio si rivela ancora insufficiente per compiti di ragionamento con catene lunghe o multi-hop, dove i risultati intermedi non sono adeguatamente premiati o penalizzati. La supervisione del processo affronta questa limitazione assegnando ricompense intermedie durante il processo di ragionamento. Fino ad oggi, i metodi utilizzati per raccogliere dati di supervisione del processo si sono basati su annotazioni umane o su stime Monte Carlo per ogni passo, entrambi proibitivamente costosi da scalare, ostacolando così l'ampia applicazione di questa tecnica. In risposta a questa sfida, proponiamo un nuovo algoritmo di Monte Carlo Tree Search (MCTS) in stile divide-et-impera, denominato OmegaPRM, per la raccolta efficiente di dati di supervisione del processo di alta qualità. Questo algoritmo identifica rapidamente il primo errore nella Catena di Pensiero (CoT) mediante ricerca binaria e bilancia gli esempi positivi e negativi, garantendo così sia efficienza che qualità. Di conseguenza, siamo stati in grado di raccogliere oltre 1,5 milioni di annotazioni di supervisione del processo per addestrare un Process Reward Model (PRM). Utilizzando questa supervisione del processo completamente automatizzata insieme all'algoritmo di auto-consistenza ponderata, abbiamo migliorato le prestazioni di ragionamento matematico del modello Gemini Pro ottimizzato per le istruzioni, raggiungendo un tasso di successo del 69,4% sul benchmark MATH, un miglioramento relativo del 36% rispetto al 51% delle prestazioni del modello base. Inoltre, l'intero processo opera senza alcun intervento umano, rendendo il nostro metodo sia economicamente che computazionalmente conveniente rispetto ai metodi esistenti.

English

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named OmegaPRM for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train a Process Reward Model (PRM). Utilizing this fully automated process supervision alongside the weighted self-consistency algorithm, we have enhanced the instruction tuned Gemini Pro model's math reasoning performance, achieving a 69.4\% success rate on the MATH benchmark, a 36\% relative improvement from the 51\% base model performance. Additionally, the entire process operates without any human intervention, making our method both financially and computationally cost-effective compared to existing methods.