Modelli Linguistici con Autoricompensa Basata su Processi

Process-based Self-Rewarding Language Models

March 5, 2025

Autori: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato prestazioni eccezionali in vari task downstream e sono stati ampiamente applicati in molteplici scenari. I dati di preferenza annotati manualmente vengono utilizzati per l'addestramento al fine di migliorare ulteriormente le prestazioni degli LLM, che sono però limitate dal livello massimo delle capacità umane. Pertanto, è stato proposto il metodo di Self-Rewarding, in cui gli LLM generano dati di addestramento premiando i propri output. Tuttavia, l'attuale paradigma di self-rewarding non è efficace negli scenari di ragionamento matematico e può persino portare a un calo delle prestazioni. In questo lavoro, proponiamo la pipeline di Process-based Self-Rewarding per i modelli linguistici, che introduce il ragionamento a lungo termine, il giudizio passo-passo degli LLM (LLM-as-a-Judge) e l'ottimizzazione delle preferenze passo-passo all'interno del paradigma di self-rewarding. Il nostro nuovo paradigma migliora con successo le prestazioni degli LLM su più benchmark di ragionamento matematico attraverso un processo iterativo di Process-based Self-Rewarding, dimostrando l'enorme potenziale del self-rewarding per raggiungere un ragionamento degli LLM che potrebbe superare le capacità umane.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.