Taalmodellen evolueren zonder labels: meerderheid stuurt selectie, nieuwigheid bevordert variatie

Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation

September 18, 2025

Auteurs: Yujun Zhou, Zhenwen Liang, Haolin Liu, Wenhao Yu, Kishan Panaganti, Linfeng Song, Dian Yu, Xiangliang Zhang, Haitao Mi, Dong Yu

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) worden steeds vaker getraind met reinforcement learning op basis van verifieerbare beloningen (RLVR), maar in de praktijk vereist de inzet van modellen dat ze zichzelf kunnen verbeteren zonder labels of externe beoordelaars. Bestaande methoden zonder labels, zoals minimalisatie van vertrouwen, zelfconsistentie of meerderheidsstemdoelstellingen, stabiliseren het leerproces maar beperken geleidelijk de exploratie, wat leidt tot een entropie-collaps: generaties worden korter, minder divers en broos. In tegenstelling tot eerdere benaderingen zoals Test-Time Reinforcement Learning (TTRL), die modellen vooral aanpassen aan de direct beschikbare ongelabelde dataset, is ons doel breder: algemene verbeteringen mogelijk maken zonder het inherente exploratievermogen en generalisatievermogen van het model op te offeren, oftewel evolutie. We formaliseren dit probleem en stellen EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL) voor, een eenvoudige regel die stabiliteit koppelt aan variatie in een omgeving zonder labels. EVOL-RL behoudt het meerderheidsgestemde antwoord als een stabiel anker (selectie) en voegt een nieuwigheid-gevoelige beloning toe die voorkeur geeft aan antwoorden waarvan de redenering afwijkt van wat al is geproduceerd (variatie), gemeten in de semantische ruimte. Geïmplementeerd met GRPO, gebruikt EVOL-RL ook asymmetrisch knippen om sterke signalen te behouden en een entropie-regulator om de zoektocht in stand te houden. Dit ontwerp van meerderheid-voor-selectie + nieuwigheid-voor-variatie voorkomt collaps, behoudt langere en meer informatieve gedachtegangen en verbetert zowel pass@1 als pass@n. EVOL-RL presteert consistent beter dan de TTRL-baseline die alleen op meerderheid is gebaseerd; bijvoorbeeld, training op ongelabelde AIME24 verhoogt Qwen3-4B-Base AIME25 pass@1 van TTRL's 4,6% naar 16,4%, en pass@16 van 18,5% naar 37,9%. EVOL-RL voorkomt niet alleen diversiteitscollaps maar maakt ook sterkere generalisatie over domeinen mogelijk (bijv. GPQA). Bovendien tonen we aan dat EVOL-RL ook de prestaties in de RLVR-instelling verbetert, wat de brede toepasbaarheid ervan benadrukt.

English

Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR), yet real-world deployment demands models that can self-improve without labels or external judges. Existing label-free methods, confidence minimization, self-consistency, or majority-vote objectives, stabilize learning but steadily shrink exploration, causing an entropy collapse: generations become shorter, less diverse, and brittle. Unlike prior approaches such as Test-Time Reinforcement Learning (TTRL), which primarily adapt models to the immediate unlabeled dataset at hand, our goal is broader: to enable general improvements without sacrificing the model's inherent exploration capacity and generalization ability, i.e., evolving. We formalize this issue and propose EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL), a simple rule that couples stability with variation under a label-free setting. EVOL-RL keeps the majority-voted answer as a stable anchor (selection) while adding a novelty-aware reward that favors responses whose reasoning differs from what has already been produced (variation), measured in semantic space. Implemented with GRPO, EVOL-RL also uses asymmetric clipping to preserve strong signals and an entropy regularizer to sustain search. This majority-for-selection + novelty-for-variation design prevents collapse, maintains longer and more informative chains of thought, and improves both pass@1 and pass@n. EVOL-RL consistently outperforms the majority-only TTRL baseline; e.g., training on label-free AIME24 lifts Qwen3-4B-Base AIME25 pass@1 from TTRL's 4.6% to 16.4%, and pass@16 from 18.5% to 37.9%. EVOL-RL not only prevents diversity collapse but also unlocks stronger generalization across domains (e.g., GPQA). Furthermore, we demonstrate that EVOL-RL also boosts performance in the RLVR setting, highlighting its broad applicability.