N-GRPO: Nachbarmischung auf Embedding-Ebene für verbesserte Policy-Optimierung

Zusammenfassung

Der Erfolg von Großen Sprachmodellen beim mathematischen Denken hängt stark von der Erzeugung vielfältiger und gültiger Lösungspfade während der Rollout-Phase ab. Allerdings stehen aktuelle Rollout-Techniken vor einem grundlegenden Zielkonflikt: Sampling auf Token-Ebene führt oft zu redundanten Trajektorien, die sich nur in der Umformulierung unterscheiden, während Methoden auf Einbettungsebene, die zufälliges Rauschen nutzen, häufig die semantische Konsistenz stören. Um dies zu lösen, führen wir N-GRPO ein, eine neuartige Erkundungsstrategie, die in das Group Relative Policy Optimization (GRPO)-Framework integriert ist. Anstatt auf Sampling auf Token-Ebene oder natives Rauschen auf Einbettungsebene zu setzen, nutzt unser Ansatz Semantic Neighbor Mixing. Dieser Mechanismus konstruiert dynamisch Eingaberepräsentationen, indem er die Einbettungen eines Anker-Tokens und seiner nächsten semantischen Nachbarn mischt, wodurch Diversität eingebracht wird, während gleichzeitig strikt die lokale semantische Mannigfaltigkeit eingehalten wird. Experimentelle Bewertungen an den DeepSeek-R1-Distill-Qwen-Modellen verschiedener Größen zeigen, dass N-GRPO nicht nur konsistente Verbesserungen gegenüber starken Baselines bei Mathe-Denken-Benchmarks erzielt, sondern auch robuste Generalisierungsfähigkeiten bei Out-of-Distribution-Aufgaben aufweist.

English

The success of Large Language Models in mathematical reasoning relies heavily on the generation of diverse and valid solution paths during the rollout phase. However, current rollout techniques face a fundamental trade-off: token-level sampling often yields redundant trajectories that differ only in rephrasing, while embedding-level methods utilizing random noise frequently disrupt semantic consistency. To resolve this, we introduce N-GRPO, a novel exploration strategy integrated into the Group Relative Policy Optimization (GRPO) framework. Rather than relying on token-level sampling or native embedding-level noise, our approach leverages Semantic Neighbor Mixing. This mechanism dynamically constructs input representations by mixing the embeddings of an anchor token and its nearest semantic neighbors, thereby injecting diversity while strictly adhering to the local semantic manifold. Experimental evaluations on the DeepSeek-R1-Distill-Qwen models across different sizes show that N-GRPO not only achieves consistent improvements over strong baselines on math reasoning benchmarks but also exhibits robust generalization capabilities on out-of-distribution tasks.