Entwicklung von Sprachmodellen ohne Labels: Die Mehrheit bestimmt die Selektion, Neuheit fördert die Variation

Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation

September 18, 2025

papers.authors: Yujun Zhou, Zhenwen Liang, Haolin Liu, Wenhao Yu, Kishan Panaganti, Linfeng Song, Dian Yu, Xiangliang Zhang, Haitao Mi, Dong Yu

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend mit Verstärkungslernen aus überprüfbaren Belohnungen (RLVR) trainiert, doch die reale Anwendung erfordert Modelle, die sich selbst verbessern können, ohne Labels oder externe Bewertungen. Bestehende labelfreie Methoden wie Confidence-Minimierung, Selbstkonsistenz oder Mehrheitsentscheidungsziele stabilisieren das Lernen, verringern jedoch kontinuierlich die Exploration, was zu einem Entropiekollaps führt: Die Generierungen werden kürzer, weniger vielfältig und brüchig. Im Gegensatz zu früheren Ansätzen wie Test-Time Reinforcement Learning (TTRL), die Modelle hauptsächlich an den unmittelbaren, ungelabelten Datensatz anpassen, ist unser Ziel umfassender: allgemeine Verbesserungen zu ermöglichen, ohne die inhärente Explorationsfähigkeit und Generalisierungsfähigkeit des Modells zu opfern, d.h. eine Evolution zu ermöglichen. Wir formalisieren dieses Problem und schlagen EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL) vor, eine einfache Regel, die Stabilität mit Variation in einem labelfreien Setting kombiniert. EVOL-RL behält die mehrheitlich gewählte Antwort als stabilen Anker (Selektion) bei, fügt jedoch eine neuartigkeitsbewusste Belohnung hinzu, die Antworten bevorzugt, deren Begründung sich von bereits produzierten unterscheidet (Variation), gemessen im semantischen Raum. Implementiert mit GRPO, verwendet EVOL-RL auch asymmetrisches Clipping, um starke Signale zu erhalten, und einen Entropie-Regularisierer, um die Suche aufrechtzuerhalten. Dieses Design aus Mehrheit-für-Selektion + Neuheit-für-Variation verhindert den Kollaps, erhält längere und informativer Gedankenketten und verbessert sowohl pass@1 als auch pass@n. EVOL-RL übertrifft durchweg die Mehrheits-TTRL-Baseline; z.B. steigert das Training auf labelfreiem AIME24 den Qwen3-4B-Base AIME25 pass@1 von TTRLs 4,6% auf 16,4% und pass@16 von 18,5% auf 37,9%. EVOL-RL verhindert nicht nur den Diversitätskollaps, sondern ermöglicht auch eine stärkere Generalisierung über Domänen hinweg (z.B. GPQA). Darüber hinaus zeigen wir, dass EVOL-RL auch die Leistung im RLVR-Setting steigert, was seine breite Anwendbarkeit unterstreicht.

English

Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR), yet real-world deployment demands models that can self-improve without labels or external judges. Existing label-free methods, confidence minimization, self-consistency, or majority-vote objectives, stabilize learning but steadily shrink exploration, causing an entropy collapse: generations become shorter, less diverse, and brittle. Unlike prior approaches such as Test-Time Reinforcement Learning (TTRL), which primarily adapt models to the immediate unlabeled dataset at hand, our goal is broader: to enable general improvements without sacrificing the model's inherent exploration capacity and generalization ability, i.e., evolving. We formalize this issue and propose EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL), a simple rule that couples stability with variation under a label-free setting. EVOL-RL keeps the majority-voted answer as a stable anchor (selection) while adding a novelty-aware reward that favors responses whose reasoning differs from what has already been produced (variation), measured in semantic space. Implemented with GRPO, EVOL-RL also uses asymmetric clipping to preserve strong signals and an entropy regularizer to sustain search. This majority-for-selection + novelty-for-variation design prevents collapse, maintains longer and more informative chains of thought, and improves both pass@1 and pass@n. EVOL-RL consistently outperforms the majority-only TTRL baseline; e.g., training on label-free AIME24 lifts Qwen3-4B-Base AIME25 pass@1 from TTRL's 4.6% to 16.4%, and pass@16 from 18.5% to 37.9%. EVOL-RL not only prevents diversity collapse but also unlocks stronger generalization across domains (e.g., GPQA). Furthermore, we demonstrate that EVOL-RL also boosts performance in the RLVR setting, highlighting its broad applicability.