SEED-GRPO: Semantische Entropie-verstärktes GRPO für unsicherheitsbewusste Politikoptimierung

SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization

May 18, 2025

Autoren: Minghan Chen, Guikun Chen, Wenguan Wang, Yi Yang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen unterschiedliche Konfidenzniveaus bei verschiedenen Eingabeaufforderungen (Fragen): Einige führen zu konsistenten, semantisch ähnlichen Antworten, während andere vielfältige oder widersprüchliche Ausgaben erzeugen. Diese Variation spiegelt die Unsicherheit des LLMs bezüglich der Eingabeaufforderung wider, ein Signal dafür, wie sicher das Modell ein gegebenes Problem versteht. Allerdings behandelt die herkömmliche Group Relative Policy Optimization (GRPO) alle Aufforderungen während der Policy-Updates gleich und ignoriert diese wichtige Information über die Wissensgrenzen des Modells. Um diese Einschränkung zu überwinden, schlagen wir SEED-GRPO (Semantic Entropy EnhanceD GRPO) vor, das explizit die Unsicherheit der LLMs bezüglich der semantischen Entropie der Eingabeaufforderungen misst. Die semantische Entropie misst die Vielfalt der Bedeutung in mehreren generierten Antworten zu einer Aufforderung und nutzt dies, um die Größe der Policy-Updates zu modulieren. Dieser unsicherheitsbewusste Trainingsmechanismus ermöglicht eine dynamische Anpassung der Policy-Update-Größen basierend auf der Unsicherheit der Frage. Er erlaubt konservativere Updates bei Fragen mit hoher Unsicherheit, während das ursprüngliche Lernsignal bei sicheren Fragen beibehalten wird. Experimentelle Ergebnisse auf fünf mathematischen Denkbenchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2 und OlympiadBench 48.0) zeigen, dass SEED-GRPO eine neue Spitzenleistung in der durchschnittlichen Genauigkeit erreicht, was die Wirksamkeit der unsicherheitsbewussten Policy-Optimierung bestätigt.

English

Large language models (LLMs) exhibit varying levels of confidence across input prompts (questions): some lead to consistent, semantically similar answers, while others yield diverse or contradictory outputs. This variation reflects LLM's uncertainty about the input prompt, a signal of how confidently the model understands a given problem. However, vanilla Group Relative Policy Optimization (GRPO) treats all prompts equally during policy updates, ignoring this important information about the model's knowledge boundaries. To address this limitation, we propose SEED-GRPO (Semantic Entropy EnhanceD GRPO), which explicitly measures LLMs' uncertainty of the input prompts semantic entropy. Semantic entropy measures the diversity of meaning in multiple generated answers given a prompt and uses this to modulate the magnitude of policy updates. This uncertainty-aware training mechanism enables dynamic adjustment of policy update magnitudes based on question uncertainty. It allows more conservative updates on high-uncertainty questions while maintaining the original learning signal on confident ones. Experimental results on five mathematical reasoning benchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2, and OlympiadBench 48.0) demonstrate that SEED-GRPO achieves new state-of-the-art performance in average accuracy, validating the effectiveness of uncertainty-aware policy optimization.