SEED-GRPO: Семантическая энтропия в GRPO для оптимизации стратегий с учетом неопределенности

SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization

May 18, 2025

Авторы: Minghan Chen, Guikun Chen, Wenguan Wang, Yi Yang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют различный уровень уверенности в зависимости от входных запросов (вопросов): одни приводят к последовательным, семантически схожим ответам, тогда как другие порождают разнообразные или противоречивые результаты. Это вариация отражает неопределённость LLM относительно входного запроса, что является сигналом о том, насколько уверенно модель понимает поставленную задачу. Однако стандартный метод Group Relative Policy Optimization (GRPO) обрабатывает все запросы одинаково при обновлении политики, игнорируя эту важную информацию о границах знаний модели. Чтобы устранить это ограничение, мы предлагаем SEED-GRPO (Semantic Entropy EnhanceD GRPO), который явно измеряет неопределённость LLM относительно семантической энтропии входных запросов. Семантическая энтропия оценивает разнообразие смысла в нескольких сгенерированных ответах на заданный запрос и использует это для модуляции величины обновлений политики. Этот механизм обучения, учитывающий неопределённость, позволяет динамически регулировать величину обновлений политики в зависимости от неопределённости вопроса. Это обеспечивает более консервативные обновления для вопросов с высокой неопределённостью, сохраняя при этом исходный сигнал обучения для уверенных запросов. Экспериментальные результаты на пяти бенчмарках математического мышления (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2 и OlympiadBench 48.0) демонстрируют, что SEED-GRPO достигает нового уровня наивысшей производительности по средней точности, подтверждая эффективность оптимизации политики с учётом неопределённости.

English

Large language models (LLMs) exhibit varying levels of confidence across input prompts (questions): some lead to consistent, semantically similar answers, while others yield diverse or contradictory outputs. This variation reflects LLM's uncertainty about the input prompt, a signal of how confidently the model understands a given problem. However, vanilla Group Relative Policy Optimization (GRPO) treats all prompts equally during policy updates, ignoring this important information about the model's knowledge boundaries. To address this limitation, we propose SEED-GRPO (Semantic Entropy EnhanceD GRPO), which explicitly measures LLMs' uncertainty of the input prompts semantic entropy. Semantic entropy measures the diversity of meaning in multiple generated answers given a prompt and uses this to modulate the magnitude of policy updates. This uncertainty-aware training mechanism enables dynamic adjustment of policy update magnitudes based on question uncertainty. It allows more conservative updates on high-uncertainty questions while maintaining the original learning signal on confident ones. Experimental results on five mathematical reasoning benchmarks (AIME24 56.7, AMC 68.7, MATH 83.4, Minerva 34.2, and OlympiadBench 48.0) demonstrate that SEED-GRPO achieves new state-of-the-art performance in average accuracy, validating the effectiveness of uncertainty-aware policy optimization.