Verbeter Wiskundig Redeneren in Taalmodellen door Geautomatiseerd Proces Toezicht

Samenvatting

Complexe meerstaps redeneertaken, zoals het oplossen van wiskundige problemen of het genereren van code, blijven een aanzienlijke uitdaging vormen, zelfs voor de meest geavanceerde grote taalmodellen (LLM's). Het verifiëren van LLM-uitvoer met een Outcome Reward Model (ORM) is een standaard techniek tijdens de inferentie die gericht is op het verbeteren van de redeneerprestaties van LLM's. Dit blijkt echter nog steeds onvoldoende voor redeneertaken met een lange of meerstaps redeneerketen, waarbij de tussenliggende resultaten niet goed worden beloond of bestraft. Procesbegeleiding lost deze beperking op door tussenliggende beloningen toe te kennen tijdens het redeneerproces. Tot op heden hebben de methoden die worden gebruikt om procesbegeleidingsgegevens te verzamelen, vertrouwd op menselijke annotatie of per-stap Monte Carlo-schatting, beide onbetaalbaar om op te schalen, wat de brede toepassing van deze techniek belemmert. Als antwoord op deze uitdaging stellen we een nieuw divide-and-conquer-stijl Monte Carlo Tree Search (MCTS) algoritme voor, genaamd OmegaPRM, voor de efficiënte verzameling van hoogwaardige procesbegeleidingsgegevens. Dit algoritme identificeert snel de eerste fout in de Chain of Thought (CoT) met behulp van binaire zoekopdrachten en balanceert de positieve en negatieve voorbeelden, waardoor zowel efficiëntie als kwaliteit worden gewaarborgd. Als resultaat zijn we in staat om meer dan 1,5 miljoen procesbegeleidingsannotaties te verzamelen om een Process Reward Model (PRM) te trainen. Door gebruik te maken van deze volledig geautomatiseerde procesbegeleiding in combinatie met het gewogen zelfconsistentie-algoritme, hebben we de wiskundige redeneerprestaties van het instructiegetunede Gemini Pro-model verbeterd, met een slagingspercentage van 69,4\% op de MATH-benchmark, een relatieve verbetering van 36\% ten opzichte van de basisprestatie van 51\%. Bovendien verloopt het hele proces zonder menselijke tussenkomst, waardoor onze methode zowel financieel als computationeel kosteneffectief is in vergelijking met bestaande methoden.

English

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named OmegaPRM for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train a Process Reward Model (PRM). Utilizing this fully automated process supervision alongside the weighted self-consistency algorithm, we have enhanced the instruction tuned Gemini Pro model's math reasoning performance, achieving a 69.4\% success rate on the MATH benchmark, a 36\% relative improvement from the 51\% base model performance. Additionally, the entire process operates without any human intervention, making our method both financially and computationally cost-effective compared to existing methods.

Verbeter Wiskundig Redeneren in Taalmodellen door Geautomatiseerd Proces Toezicht

Improve Mathematical Reasoning in Language Models by Automated Process Supervision

Samenvatting

Support