N-GRPO: Mistura de Vizinhos em Nível de Embedding para Otimização Aprimorada de Políticas

Resumo

O sucesso dos Modelos de Linguagem de Grande Porte no raciocínio matemático depende fortemente da geração de caminhos de solução diversos e válidos durante a fase de gerar trajetórias. No entanto, as técnicas atuais de geração de trajetórias enfrentam uma troca fundamental: a amostragem em nível de token frequentemente produz trajetórias redundantes que diferem apenas na reformulação, enquanto os métodos em nível de embeddings que utilizam ruído aleatório frequentemente rompem a consistência semântica. Para resolver isso, introduzimos o N-GRPO, uma nova estratégia de exploração integrada à estrutura de Otimização de Política Relativa em Grupo (GRPO). Nossa abordagem, em vez de depender de amostragem em nível de token ou de ruído nativo em nível de embeddings, utiliza a Mistura de Vizinhos Semânticos. Esse mecanismo constrói dinamicamente representações de entrada ao misturar os embeddings de um token âncora e seus vizinhos semânticos mais próximos, injetando diversidade enquanto adere estritamente à variedade semântica local. Avaliações experimentais nos modelos DeepSeek-R1-Distill-Qwen de diferentes tamanhos mostram que o N-GRPO não apenas alcança melhorias consistentes em relação a referências robustas em benchmarks de raciocínio matemático, mas também exibe capacidades de generalização robustas em tarefas fora da distribuição.

English

The success of Large Language Models in mathematical reasoning relies heavily on the generation of diverse and valid solution paths during the rollout phase. However, current rollout techniques face a fundamental trade-off: token-level sampling often yields redundant trajectories that differ only in rephrasing, while embedding-level methods utilizing random noise frequently disrupt semantic consistency. To resolve this, we introduce N-GRPO, a novel exploration strategy integrated into the Group Relative Policy Optimization (GRPO) framework. Rather than relying on token-level sampling or native embedding-level noise, our approach leverages Semantic Neighbor Mixing. This mechanism dynamically constructs input representations by mixing the embeddings of an anchor token and its nearest semantic neighbors, thereby injecting diversity while strictly adhering to the local semantic manifold. Experimental evaluations on the DeepSeek-R1-Distill-Qwen models across different sizes show that N-GRPO not only achieves consistent improvements over strong baselines on math reasoning benchmarks but also exhibits robust generalization capabilities on out-of-distribution tasks.