f-GRPO и далее: Алгоритмы обучения с подкреплением на основе дивергенции для общей адаптации больших языковых моделей

f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment

February 5, 2026

Авторы: Rajdeep Haldar, Lantao Mei, Guang Lin, Yue Xing, Qifan Song

cs.AI

Аннотация

Современные исследования показывают, что задачи согласования предпочтений (Preference Alignment, PA) выступают в роли оценок расхождения между распределениями выровненных (выбранных) и невыровненных (отвергнутых) ответов. В данной работе мы расширяем этот дивергентный подход на общие сценарии согласования, такие как обучение с подкреплением с верифицируемыми вознаграждениями (RLVR), где доступны только вознаграждения от среды. В рамках этой унифицированной концепции мы предлагаем f-Групповую относительную оптимизацию политик (f-GRPO) — класс методов обучения с подкреплением на политике, и f-Гибридную функцию потерь согласования (f-HAL) — гибридные цели на политике и вне политики, для общего согласования больших языковых моделей на основе вариационного представления f-дивергенций. Мы предоставляем теоретические гарантии того, что эти классы задач повышают среднее вознаграждение после согласования. Экспериментально мы проверяем нашу framework на задачах RLVR (математические рассуждения) и PA (согласование безопасности), демонстрируя превосходную производительность и гибкость по сравнению с современными методами.

English

Recent research shows that Preference Alignment (PA) objectives act as divergence estimators between aligned (chosen) and unaligned (rejected) response distributions. In this work, we extend this divergence-based perspective to general alignment settings, such as reinforcement learning with verifiable rewards (RLVR), where only environmental rewards are available. Within this unified framework, we propose f-Group Relative Policy Optimization (f-GRPO), a class of on-policy reinforcement learning, and f-Hybrid Alignment Loss (f-HAL), a hybrid on/off policy objectives, for general LLM alignment based on variational representation of f-divergences. We provide theoretical guarantees that these classes of objectives improve the average reward after alignment. Empirically, we validate our framework on both RLVR (Math Reasoning) and PA tasks (Safety Alignment), demonstrating superior performance and flexibility compared to current methods.