Evolución de Modelos de Lenguaje sin Etiquetas: La Mayoría Guía la Selección, La Novedad Promueve la Variación

Resumen

Los modelos de lenguaje de gran escala (LLMs) se entrenan cada vez más con aprendizaje por refuerzo a partir de recompensas verificables (RLVR), pero el despliegue en el mundo real exige modelos que puedan automejorarse sin etiquetas o jueces externos. Los métodos existentes sin etiquetas, como la minimización de confianza, la autoconsistencia o los objetivos de mayoría, estabilizan el aprendizaje pero reducen gradualmente la exploración, causando un colapso de entropía: las generaciones se vuelven más cortas, menos diversas y frágiles. A diferencia de enfoques previos como el Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL), que principalmente adapta los modelos al conjunto de datos no etiquetado inmediato, nuestro objetivo es más amplio: permitir mejoras generales sin sacrificar la capacidad inherente de exploración y generalización del modelo, es decir, evolucionar. Formalizamos este problema y proponemos Aprendizaje por Refuerzo Orientado a la Evolución y sin Etiquetas (EVOL-RL), una regla simple que combina estabilidad con variación en un entorno sin etiquetas. EVOL-RL mantiene la respuesta votada por mayoría como un ancla estable (selección) mientras añade una recompensa consciente de la novedad que favorece respuestas cuyo razonamiento difiere de lo ya producido (variación), medido en el espacio semántico. Implementado con GRPO, EVOL-RL también utiliza recorte asimétrico para preservar señales fuertes y un regularizador de entropía para mantener la búsqueda. Este diseño de mayoría-para-selección + novedad-para-variación previene el colapso, mantiene cadenas de pensamiento más largas e informativas, y mejora tanto pass@1 como pass@n. EVOL-RL supera consistentemente la línea base TTRL de solo mayoría; por ejemplo, entrenar en AIME24 sin etiquetas eleva el pass@1 de Qwen3-4B-Base en AIME25 del 4.6% de TTRL al 16.4%, y el pass@16 del 18.5% al 37.9%. EVOL-RL no solo previene el colapso de diversidad sino que también desbloquea una mayor generalización entre dominios (por ejemplo, GPQA). Además, demostramos que EVOL-RL también mejora el rendimiento en el entorno RLVR, destacando su amplia aplicabilidad.

English

Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR), yet real-world deployment demands models that can self-improve without labels or external judges. Existing label-free methods, confidence minimization, self-consistency, or majority-vote objectives, stabilize learning but steadily shrink exploration, causing an entropy collapse: generations become shorter, less diverse, and brittle. Unlike prior approaches such as Test-Time Reinforcement Learning (TTRL), which primarily adapt models to the immediate unlabeled dataset at hand, our goal is broader: to enable general improvements without sacrificing the model's inherent exploration capacity and generalization ability, i.e., evolving. We formalize this issue and propose EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL), a simple rule that couples stability with variation under a label-free setting. EVOL-RL keeps the majority-voted answer as a stable anchor (selection) while adding a novelty-aware reward that favors responses whose reasoning differs from what has already been produced (variation), measured in semantic space. Implemented with GRPO, EVOL-RL also uses asymmetric clipping to preserve strong signals and an entropy regularizer to sustain search. This majority-for-selection + novelty-for-variation design prevents collapse, maintains longer and more informative chains of thought, and improves both pass@1 and pass@n. EVOL-RL consistently outperforms the majority-only TTRL baseline; e.g., training on label-free AIME24 lifts Qwen3-4B-Base AIME25 pass@1 from TTRL's 4.6% to 16.4%, and pass@16 from 18.5% to 37.9%. EVOL-RL not only prevents diversity collapse but also unlocks stronger generalization across domains (e.g., GPQA). Furthermore, we demonstrate that EVOL-RL also boosts performance in the RLVR setting, highlighting its broad applicability.

Evolución de Modelos de Lenguaje sin Etiquetas: La Mayoría Guía la Selección, La Novedad Promueve la Variación

Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation

Resumen

Support