Методы, основанные на неопределенности, для автоматизированного построения данных о вознаграждении процесса и агрегирования результатов в математических рассуждениях

Аннотация

Крупные языковые модели продемонстрировали впечатляющие способности в решении сложных математических задач, однако они неизбежно допускают ошибки в многошаговых решениях. Модели вознаграждения на уровне процесса (Process-level Reward Models, PRMs) показали значительный потенциал, предоставляя контроль и оценку на каждом промежуточном этапе, тем самым эффективно улучшая способности моделей к рассуждению. Однако обучение эффективных PRMs требует высококачественных данных о вознаграждении за процесс, а существующие методы создания таких данных часто являются трудоемкими или неэффективными. В данной статье мы предлагаем основанную на неопределенности структуру для автоматизированного создания данных о вознаграждении за процесс, охватывающую как генерацию данных, так и процессы аннотирования для PRMs. Кроме того, мы выявляем ограничения как метода большинства голосов, так и PRMs, и представляем два универсальных метода агрегации выходных данных с учетом неопределенности: Гибридное большинство голосов с вознаграждением и Взвешенная частота голосов с вознаграждением, которые сочетают преимущества метода большинства голосов с PRMs. Многочисленные эксперименты на ProcessBench, MATH и GSMPlus демонстрируют эффективность и производительность предложенной структуры создания данных для PRMs, а также показывают, что два метода агрегации выходных данных дополнительно улучшают способности к математическому рассуждению в различных PRMs. Код и данные будут общедоступны по адресу https://github.com/Jiuzhouh/UnPRM.

English

Large language models have demonstrated remarkable capabilities in complex mathematical reasoning tasks, but they inevitably generate errors throughout multi-step solutions. Process-level Reward Models (PRMs) have shown great promise by providing supervision and evaluation at each intermediate step, thereby effectively improving the models' reasoning abilities. However, training effective PRMs requires high-quality process reward data, yet existing methods for constructing such data are often labour-intensive or inefficient. In this paper, we propose an uncertainty-driven framework for automated process reward data construction, encompassing both data generation and annotation processes for PRMs. Additionally, we identify the limitations of both majority vote and PRMs, and introduce two generic uncertainty-aware output aggregation methods: Hybrid Majority Reward Vote and Weighted Reward Frequency Vote, which combine the strengths of majority vote with PRMs. Extensive experiments on ProcessBench, MATH, and GSMPlus show the effectiveness and efficiency of the proposed PRM data construction framework, and demonstrate that the two output aggregation methods further improve the mathematical reasoning abilities across diverse PRMs. The code and data will be publicly available at https://github.com/Jiuzhouh/UnPRM.

Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning

Аннотация

Support