Modelli Linguistici in Evoluzione Senza Etichette: La Maggioranza Guida la Selezione, La Novità Promuove la Variazione

Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation

September 18, 2025

Autori: Yujun Zhou, Zhenwen Liang, Haolin Liu, Wenhao Yu, Kishan Panaganti, Linfeng Song, Dian Yu, Xiangliang Zhang, Haitao Mi, Dong Yu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più addestrati con l'apprendimento per rinforzo da ricompense verificabili (RLVR), tuttavia il dispiegamento nel mondo reale richiede modelli in grado di auto-migliorarsi senza etichette o giudici esterni. I metodi esistenti privi di etichette, come la minimizzazione della confidenza, l'autoconsistenza o gli obiettivi a maggioranza, stabilizzano l'apprendimento ma riducono progressivamente l'esplorazione, causando un collasso dell'entropia: le generazioni diventano più brevi, meno diversificate e fragili. A differenza degli approcci precedenti, come l'Apprendimento per Rinforzo in Tempo di Test (TTRL), che adattano principalmente i modelli al dataset non etichettato immediatamente disponibile, il nostro obiettivo è più ampio: consentire miglioramenti generali senza sacrificare la capacità intrinseca di esplorazione e la capacità di generalizzazione del modello, ovvero evolvere. Formalizziamo questo problema e proponiamo l'Apprendimento per Rinforzo Orientato all'Evoluzione e Senza Etichette (EVOL-RL), una regola semplice che combina stabilità e variazione in un contesto privo di etichette. EVOL-RL mantiene la risposta votata a maggioranza come ancoraggio stabile (selezione) mentre aggiunge una ricompensa consapevole della novità che favorisce le risposte il cui ragionamento differisce da quanto già prodotto (variazione), misurato nello spazio semantico. Implementato con GRPO, EVOL-RL utilizza anche un clipping asimmetrico per preservare segnali forti e un regolarizzatore di entropia per sostenere la ricerca. Questo design a maggioranza-per-selezione + novità-per-variazione previene il collasso, mantiene catene di pensiero più lunghe e informative e migliora sia pass@1 che pass@n. EVOL-RL supera costantemente la baseline TTRL a maggioranza; ad esempio, l'addestramento su AIME24 senza etichette aumenta il pass@1 di Qwen3-4B-Base su AIME25 dal 4,6% di TTRL al 16,4%, e il pass@16 dal 18,5% al 37,9%. EVOL-RL non solo previene il collasso della diversità ma sblocca anche una generalizzazione più forte tra domini (ad esempio, GPQA). Inoltre, dimostriamo che EVOL-RL migliora anche le prestazioni nell'ambito RLVR, evidenziando la sua ampia applicabilità.

English

Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR), yet real-world deployment demands models that can self-improve without labels or external judges. Existing label-free methods, confidence minimization, self-consistency, or majority-vote objectives, stabilize learning but steadily shrink exploration, causing an entropy collapse: generations become shorter, less diverse, and brittle. Unlike prior approaches such as Test-Time Reinforcement Learning (TTRL), which primarily adapt models to the immediate unlabeled dataset at hand, our goal is broader: to enable general improvements without sacrificing the model's inherent exploration capacity and generalization ability, i.e., evolving. We formalize this issue and propose EVolution-Oriented and Label-free Reinforcement Learning (EVOL-RL), a simple rule that couples stability with variation under a label-free setting. EVOL-RL keeps the majority-voted answer as a stable anchor (selection) while adding a novelty-aware reward that favors responses whose reasoning differs from what has already been produced (variation), measured in semantic space. Implemented with GRPO, EVOL-RL also uses asymmetric clipping to preserve strong signals and an entropy regularizer to sustain search. This majority-for-selection + novelty-for-variation design prevents collapse, maintains longer and more informative chains of thought, and improves both pass@1 and pass@n. EVOL-RL consistently outperforms the majority-only TTRL baseline; e.g., training on label-free AIME24 lifts Qwen3-4B-Base AIME25 pass@1 from TTRL's 4.6% to 16.4%, and pass@16 from 18.5% to 37.9%. EVOL-RL not only prevents diversity collapse but also unlocks stronger generalization across domains (e.g., GPQA). Furthermore, we demonstrate that EVOL-RL also boosts performance in the RLVR setting, highlighting its broad applicability.