Evolução de Modelos de Linguagem sem Rótulos: A Maioria Guia a Seleção, A Novidade Promove a Variação

Resumo

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais treinados com aprendizado por reforço a partir de recompensas verificáveis (RLVR), mas a implantação no mundo real exige modelos que possam se autoaperfeiçoar sem rótulos ou juízes externos. Métodos existentes sem rótulos, como minimização de confiança, autoconsistência ou objetivos de maioria, estabilizam o aprendizado, mas reduzem gradualmente a exploração, causando um colapso de entropia: as gerações tornam-se mais curtas, menos diversas e frágeis. Diferentemente de abordagens anteriores, como o Aprendizado por Reforço em Tempo de Teste (TTRL), que adapta principalmente os modelos ao conjunto de dados não rotulados imediato, nosso objetivo é mais amplo: permitir melhorias gerais sem sacrificar a capacidade inerente de exploração e a habilidade de generalização do modelo, ou seja, evoluir. Formalizamos essa questão e propomos o Aprendizado por Reforço Orientado à Evolução e Sem Rótulos (EVOL-RL), uma regra simples que acopla estabilidade com variação em um cenário sem rótulos. O EVOL-RL mantém a resposta votada pela maioria como uma âncora estável (seleção) enquanto adiciona uma recompensa consciente da novidade que favorece respostas cujo raciocínio difere do que já foi produzido (variação), medido no espaço semântico. Implementado com GRPO, o EVOL-RL também usa recorte assimétrico para preservar sinais fortes e um regularizador de entropia para sustentar a busca. Esse design de maioria-para-seleção + novidade-para-variação previne o colapso, mantém cadeias de pensamento mais longas e informativas, e melhora tanto pass@1 quanto pass@n. O EVOL-RL consistentemente supera a linha de base TTRL apenas com maioria; por exemplo, o treinamento no AIME24 sem rótulos eleva o pass@1 do Qwen3-4B-Base no AIME25 de 4,6% do TTRL para 16,4%, e o pass@16 de 18,5% para 37,9%. O EVOL-RL não apenas previne o colapso da diversidade, mas também desbloqueia uma generalização mais forte entre domínios (por exemplo, GPQA). Além disso, demonstramos que o EVOL-RL também melhora o desempenho no cenário RLVR, destacando sua ampla aplicabilidade.

English

Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR), yet real-world deployment demands models that can self-improve without labels or external judges. Existing label-free methods, confidence minimization, self-consistency, or majority-vote objectives, stabilize learning but steadily shrink exploration, causing an entropy collapse: generations become shorter, less diverse, and brittle. Unlike prior approaches such as Test-Time Reinforcement Learning (TTRL), which primarily adapt models to the immediate unlabeled dataset at hand, our goal is broader: to enable general improvements without sacrificing the model's inherent exploration capacity and generalization ability, i.e., evolving. We formalize this issue and propose EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL), a simple rule that couples stability with variation under a label-free setting. EVOL-RL keeps the majority-voted answer as a stable anchor (selection) while adding a novelty-aware reward that favors responses whose reasoning differs from what has already been produced (variation), measured in semantic space. Implemented with GRPO, EVOL-RL also uses asymmetric clipping to preserve strong signals and an entropy regularizer to sustain search. This majority-for-selection + novelty-for-variation design prevents collapse, maintains longer and more informative chains of thought, and improves both pass@1 and pass@n. EVOL-RL consistently outperforms the majority-only TTRL baseline; e.g., training on label-free AIME24 lifts Qwen3-4B-Base AIME25 pass@1 from TTRL's 4.6% to 16.4%, and pass@16 from 18.5% to 37.9%. EVOL-RL not only prevents diversity collapse but also unlocks stronger generalization across domains (e.g., GPQA). Furthermore, we demonstrate that EVOL-RL also boosts performance in the RLVR setting, highlighting its broad applicability.

Evolução de Modelos de Linguagem sem Rótulos: A Maioria Guia a Seleção, A Novidade Promove a Variação

Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation

Resumo

Support