N-GRPO: Mezcla de Vecinos a Nivel de Incrustación para una Optimización de Políticas Mejorada

Resumen

El éxito de los Modelos de Lenguaje Grandes en el razonamiento matemático depende en gran medida de la generación de trayectorias de solución diversas y válidas durante la fase de despliegue. Sin embargo, las técnicas actuales de despliegue enfrentan una disyuntiva fundamental: el muestreo a nivel de tokens a menudo produce trayectorias redundantes que solo difieren en la reformulación, mientras que los métodos a nivel de embeddings que utilizan ruido aleatorio frecuentemente alteran la consistencia semántica. Para resolver esto, introducimos N-GRPO, una novedosa estrategia de exploración integrada en el marco de la Optimización de Política Relativa de Grupo (GRPO). En lugar de depender del muestreo a nivel de tokens o del ruido nativo a nivel de embeddings, nuestro enfoque aprovecha la Mezcla de Vecinos Semánticos. Este mecanismo construye dinámicamente representaciones de entrada mezclando los embeddings de un token ancla y sus vecinos semánticos más cercanos, inyectando así diversidad mientras se adhiere estrictamente a la variedad semántica local. Las evaluaciones experimentales en los modelos DeepSeek-R1-Distill-Qwen de diferentes tamaños muestran que N-GRPO no solo logra mejoras consistentes sobre líneas base sólidas en puntos de referencia de razonamiento matemático, sino que también exhibe capacidades de generalización robustas en tareas fuera de distribución.

English

The success of Large Language Models in mathematical reasoning relies heavily on the generation of diverse and valid solution paths during the rollout phase. However, current rollout techniques face a fundamental trade-off: token-level sampling often yields redundant trajectories that differ only in rephrasing, while embedding-level methods utilizing random noise frequently disrupt semantic consistency. To resolve this, we introduce N-GRPO, a novel exploration strategy integrated into the Group Relative Policy Optimization (GRPO) framework. Rather than relying on token-level sampling or native embedding-level noise, our approach leverages Semantic Neighbor Mixing. This mechanism dynamically constructs input representations by mixing the embeddings of an anchor token and its nearest semantic neighbors, thereby injecting diversity while strictly adhering to the local semantic manifold. Experimental evaluations on the DeepSeek-R1-Distill-Qwen models across different sizes show that N-GRPO not only achieves consistent improvements over strong baselines on math reasoning benchmarks but also exhibits robust generalization capabilities on out-of-distribution tasks.