SEED-GRPO: Ottimizzazione delle Politiche con Consapevolezza dell'Incertezza tramite Entropia Semantica e GRPO

SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization

May 18, 2025

Autori: Minghan Chen, Guikun Chen, Wenguan Wang, Yi Yang

cs.AI

Abstract

I grandi modelli linguistici (LLM) mostrano livelli variabili di sicurezza rispetto ai prompt di input (domande): alcuni portano a risposte coerenti e semanticamente simili, mentre altri producono output diversi o contraddittori. Questa variazione riflette l'incertezza dell'LLM riguardo al prompt di input, un segnale di quanto il modello comprenda con sicurezza un determinato problema. Tuttavia, l'ottimizzazione della politica relativa al gruppo standard (GRPO) tratta tutti i prompt in modo uguale durante gli aggiornamenti della politica, ignorando questa importante informazione sui limiti della conoscenza del modello. Per affrontare questa limitazione, proponiamo SEED-GRPO (Semantic Entropy EnhanceD GRPO), che misura esplicitamente l'incertezza degli LLM rispetto all'entropia semantica dei prompt di input. L'entropia semantica misura la diversità di significato in più risposte generate dato un prompt e utilizza questa informazione per modulare l'entità degli aggiornamenti della politica. Questo meccanismo di addestramento consapevole dell'incertezza consente un aggiustamento dinamico dell'entità degli aggiornamenti della politica in base all'incertezza della domanda. Permette aggiornamenti più conservativi su domande ad alta incertezza, mantenendo il segnale di apprendimento originale su quelle sicure. I risultati sperimentali su cinque benchmark di ragionamento matematico (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2 e OlympiadBench 48.0) dimostrano che SEED-GRPO raggiunge nuove prestazioni all'avanguardia in termini di accuratezza media, validando l'efficacia dell'ottimizzazione della politica consapevole dell'incertezza.

English

Large language models (LLMs) exhibit varying levels of confidence across input prompts (questions): some lead to consistent, semantically similar answers, while others yield diverse or contradictory outputs. This variation reflects LLM's uncertainty about the input prompt, a signal of how confidently the model understands a given problem. However, vanilla Group Relative Policy Optimization (GRPO) treats all prompts equally during policy updates, ignoring this important information about the model's knowledge boundaries. To address this limitation, we propose SEED-GRPO (Semantic Entropy EnhanceD GRPO), which explicitly measures LLMs' uncertainty of the input prompts semantic entropy. Semantic entropy measures the diversity of meaning in multiple generated answers given a prompt and uses this to modulate the magnitude of policy updates. This uncertainty-aware training mechanism enables dynamic adjustment of policy update magnitudes based on question uncertainty. It allows more conservative updates on high-uncertainty questions while maintaining the original learning signal on confident ones. Experimental results on five mathematical reasoning benchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2, and OlympiadBench 48.0) demonstrate that SEED-GRPO achieves new state-of-the-art performance in average accuracy, validating the effectiveness of uncertainty-aware policy optimization.