N-GRPO: Смешивание соседей на уровне эмбеддингов для улучшения оптимизации политики

Аннотация

Успех больших языковых моделей в математическом рассуждении в значительной степени зависит от генерации разнообразных и корректных путей решения на этапе развертывания (rollout). Однако текущие методы rollout сталкиваются с фундаментальным компромиссом: семплирование на уровне токенов часто порождает избыточные траектории, различающиеся лишь перефразированием, в то время как методы на уровне эмбеддингов, использующие случайный шум, нередко нарушают семантическую согласованность. Для решения этой проблемы мы представляем N-GRPO — новую стратегию исследования, интегрированную в фреймворк Group Relative Policy Optimization (GRPO). Вместо того чтобы полагаться на семплирование на уровне токенов или собственный шум на уровне эмбеддингов, наш подход использует Semantic Neighbor Mixing. Этот механизм динамически конструирует входные представления путем смешивания эмбеддингов опорного токена и его ближайших семантических соседей, тем самым привнося разнообразие при строгом соблюдении локального семантического многообразия. Экспериментальные оценки на моделях DeepSeek-R1-Distill-Qwen различных размеров показывают, что N-GRPO не только достигает устойчивых улучшений по сравнению с сильными базовыми линиями на бенчмарках математического рассуждения, но и демонстрирует надежные способности к обобщению на задачах вне распределения.

English

The success of Large Language Models in mathematical reasoning relies heavily on the generation of diverse and valid solution paths during the rollout phase. However, current rollout techniques face a fundamental trade-off: token-level sampling often yields redundant trajectories that differ only in rephrasing, while embedding-level methods utilizing random noise frequently disrupt semantic consistency. To resolve this, we introduce N-GRPO, a novel exploration strategy integrated into the Group Relative Policy Optimization (GRPO) framework. Rather than relying on token-level sampling or native embedding-level noise, our approach leverages Semantic Neighbor Mixing. This mechanism dynamically constructs input representations by mixing the embeddings of an anchor token and its nearest semantic neighbors, thereby injecting diversity while strictly adhering to the local semantic manifold. Experimental evaluations on the DeepSeek-R1-Distill-Qwen models across different sizes show that N-GRPO not only achieves consistent improvements over strong baselines on math reasoning benchmarks but also exhibits robust generalization capabilities on out-of-distribution tasks.