SEED-GRPO : Optimisation de Politique avec Entropie Sémantique Améliorée pour une Gestion Consciente de l'Incertitude

SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization

May 18, 2025

Auteurs: Minghan Chen, Guikun Chen, Wenguan Wang, Yi Yang

cs.AI

Résumé

Les grands modèles de langage (LLM) présentent des niveaux de confiance variables selon les invites d'entrée (questions) : certaines conduisent à des réponses cohérentes et sémantiquement similaires, tandis que d'autres produisent des sorties diversifiées ou contradictoires. Cette variation reflète l'incertitude du LLM vis-à-vis de l'invite d'entrée, un signal indiquant à quel point le modèle comprend un problème donné. Cependant, l'optimisation de politique relative par groupe standard (GRPO) traite toutes les invites de manière égale lors des mises à jour de politique, ignorant cette information cruciale sur les limites de connaissance du modèle. Pour remédier à cette limitation, nous proposons SEED-GRPO (GRPO enrichi par l'entropie sémantique), qui mesure explicitement l'incertitude des LLM vis-à-vis de l'entropie sémantique des invites d'entrée. L'entropie sémantique quantifie la diversité de sens dans plusieurs réponses générées pour une invite donnée et utilise cette mesure pour moduler l'amplitude des mises à jour de politique. Ce mécanisme d'entraînement prenant en compte l'incertitude permet un ajustement dynamique de l'amplitude des mises à jour de politique en fonction de l'incertitude de la question. Il permet des mises à jour plus conservatrices pour les questions à forte incertitude tout en conservant le signal d'apprentissage original pour les questions où le modèle est confiant. Les résultats expérimentaux sur cinq benchmarks de raisonnement mathématique (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2 et OlympiadBench 48.0) démontrent que SEED-GRPO atteint de nouvelles performances de pointe en termes de précision moyenne, validant ainsi l'efficacité de l'optimisation de politique prenant en compte l'incertitude.

English

Large language models (LLMs) exhibit varying levels of confidence across input prompts (questions): some lead to consistent, semantically similar answers, while others yield diverse or contradictory outputs. This variation reflects LLM's uncertainty about the input prompt, a signal of how confidently the model understands a given problem. However, vanilla Group Relative Policy Optimization (GRPO) treats all prompts equally during policy updates, ignoring this important information about the model's knowledge boundaries. To address this limitation, we propose SEED-GRPO (Semantic Entropy EnhanceD GRPO), which explicitly measures LLMs' uncertainty of the input prompts semantic entropy. Semantic entropy measures the diversity of meaning in multiple generated answers given a prompt and uses this to modulate the magnitude of policy updates. This uncertainty-aware training mechanism enables dynamic adjustment of policy update magnitudes based on question uncertainty. It allows more conservative updates on high-uncertainty questions while maintaining the original learning signal on confident ones. Experimental results on five mathematical reasoning benchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2, and OlympiadBench 48.0) demonstrate that SEED-GRPO achieves new state-of-the-art performance in average accuracy, validating the effectiveness of uncertainty-aware policy optimization.