SEED-GRPO: Entropía Semántica Mejorada en GRPO para la Optimización de Políticas con Conciencia de Incertidumbre

SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization

May 18, 2025

Autores: Minghan Chen, Guikun Chen, Wenguan Wang, Yi Yang

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) exhiben distintos niveles de confianza frente a diferentes entradas (preguntas): algunas conducen a respuestas consistentes y semánticamente similares, mientras que otras generan resultados diversos o contradictorios. Esta variación refleja la incertidumbre del LLM respecto a la entrada, lo cual es una señal de cuán confiadamente el modelo comprende un problema dado. Sin embargo, la optimización de políticas relativas al grupo estándar (GRPO, por sus siglas en inglés) trata todas las entradas por igual durante las actualizaciones de políticas, ignorando esta información crucial sobre los límites del conocimiento del modelo. Para abordar esta limitación, proponemos SEED-GRPO (GRPO Mejorado con Entropía Semántica), que mide explícitamente la incertidumbre de los LLMs mediante la entropía semántica de las entradas. La entropía semántica cuantifica la diversidad de significado en múltiples respuestas generadas ante una misma entrada y utiliza esta medida para modular la magnitud de las actualizaciones de políticas. Este mecanismo de entrenamiento consciente de la incertidumbre permite ajustar dinámicamente la magnitud de las actualizaciones de políticas en función de la incertidumbre de la pregunta. Así, se realizan actualizaciones más conservadoras en preguntas de alta incertidumbre, mientras se mantiene la señal de aprendizaje original en aquellas en las que el modelo está seguro. Los resultados experimentales en cinco benchmarks de razonamiento matemático (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2 y OlympiadBench 48.0) demuestran que SEED-GRPO alcanza un nuevo estado del arte en precisión promedio, validando la efectividad de la optimización de políticas consciente de la incertidumbre.

English

Large language models (LLMs) exhibit varying levels of confidence across input prompts (questions): some lead to consistent, semantically similar answers, while others yield diverse or contradictory outputs. This variation reflects LLM's uncertainty about the input prompt, a signal of how confidently the model understands a given problem. However, vanilla Group Relative Policy Optimization (GRPO) treats all prompts equally during policy updates, ignoring this important information about the model's knowledge boundaries. To address this limitation, we propose SEED-GRPO (Semantic Entropy EnhanceD GRPO), which explicitly measures LLMs' uncertainty of the input prompts semantic entropy. Semantic entropy measures the diversity of meaning in multiple generated answers given a prompt and uses this to modulate the magnitude of policy updates. This uncertainty-aware training mechanism enables dynamic adjustment of policy update magnitudes based on question uncertainty. It allows more conservative updates on high-uncertainty questions while maintaining the original learning signal on confident ones. Experimental results on five mathematical reasoning benchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2, and OlympiadBench 48.0) demonstrate that SEED-GRPO achieves new state-of-the-art performance in average accuracy, validating the effectiveness of uncertainty-aware policy optimization.