Progettazione di Ricompense Basate sulla Verosimiglianza per il Ragionamento Generale nei Modelli Linguistici di Grande Dimensione
Likelihood-Based Reward Designs for General LLM Reasoning
February 3, 2026
Autori: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier
cs.AI
Abstract
L'ottimizzazione fine (fine-tuning) di grandi modelli linguistici (LLM) su benchmark di ragionamento tramite apprendimento per rinforzo richiede una specifica funzione di ricompensa, spesso binaria, per ogni benchmark. Ciò comporta due potenziali limitazioni: la necessità di progettare la ricompensa e la natura potenzialmente sparsa delle ricompense binarie. In questo lavoro, indaghiamo sistematicamente le ricompense derivate dalla probabilità o log-probabilità di emettere la risposta di riferimento (o qualsiasi altra continuazione del prompt presente nei dati), che hanno il vantaggio di non dipendere da verificatori specifici e di essere disponibili su larga scala. Diversi lavori recenti hanno sostenuto l'uso di ricompense simili (ad es., VeriFree, JEPO, RLPR, NOVER). Confrontiamo sistematicamente le varianti delle ricompense basate sulla verosimiglianza con i benchmark standard, testando le prestazioni sia su benchmark standard di ragionamento matematico, sia su risposte in forma estesa dove non è disponibile un verificatore esterno. Scopriamo che l'utilizzo della log-probabilità della risposta di riferimento come ricompensa per l'apprendimento a catena del pensiero (CoT) è l'unica opzione che performa bene in tutti gli scenari. Questa ricompensa è anche coerente con la loss di log-verosimiglianza del token successivo utilizzata durante la pre-addestramento. In contesti verificabili, le ricompense basate sulla log-probabilità forniscono tassi di successo comparabili o migliori rispetto al rinforzo con ricompense binarie standard e producono una perplessità molto migliore. In contesti non verificabili, le loro prestazioni sono in linea con quelle dell'SFT. D'altro canto, metodi basati sulla probabilità, come VeriFree, collassano in contesti non verificabili a causa della probabilità infinitesimale di ottenere la risposta corretta. Nel complesso, ciò stabilisce le ricompense basate sulla log-probabilità come un metodo valido per il fine-tuning CoT, colmando il divario tra contesti con risposte brevi e verificabili e contesti con risposte lunghe e non verificabili.
English
Fine-tuning large language models (LLMs) on reasoning benchmarks via reinforcement learning requires a specific reward function, often binary, for each benchmark. This comes with two potential limitations: the need to design the reward, and the potentially sparse nature of binary rewards. Here, we systematically investigate rewards derived from the probability or log-probability of emitting the reference answer (or any other prompt continuation present in the data), which have the advantage of not relying on specific verifiers and being available at scale. Several recent works have advocated for the use of similar rewards (e.g., VeriFree, JEPO, RLPR, NOVER). We systematically compare variants of likelihood-based rewards with standard baselines, testing performance both on standard mathematical reasoning benchmarks, and on long-form answers where no external verifier is available. We find that using the log-probability of the reference answer as the reward for chain-of-thought (CoT) learning is the only option that performs well in all setups. This reward is also consistent with the next-token log-likelihood loss used during pretraining. In verifiable settings, log-probability rewards bring comparable or better success rates than reinforcing with standard binary rewards, and yield much better perplexity. In non-verifiable settings, they perform on par with SFT. On the other hand, methods based on probability, such as VeriFree, flatline on non-verifiable settings due to vanishing probabilities of getting the correct answer. Overall, this establishes log-probability rewards as a viable method for CoT fine-tuning, bridging the short, verifiable and long, non-verifiable answer settings.