Addestramento di Modelli di Ragionamento su Problemi Saturi tramite Condizionamento sul Prefisso di Fallimento
Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning
January 28, 2026
Autori: Minwu Kim, Safal Shrestha, Keith Ross
cs.AI
Abstract
L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) ha migliorato sostanzialmente le capacità di ragionamento dei grandi modelli linguistici (LLM), ma l'addestramento spesso ristagna quando i problemi diventano saturi. Identifichiamo la sfida principale nella scarsa accessibilità degli errori informativi: i segnali di apprendimento esistono ma sono raramente incontrati durante le rollout standard. Per affrontare ciò, proponiamo il condizionamento sul prefisso di errore, un metodo semplice ed efficace per apprendere da problemi saturi. Invece di partire dalla domanda originale, il nostro approccio riallocazione l'esplorazione condizionando l'addestramento su prefissi derivati da rare traiettorie di ragionamento incorrette, esponendo così il modello a stati inclini all'errore. Osserviamo che il condizionamento sul prefisso di errore produce miglioramenti delle prestazioni equivalenti a quelli ottenuti addestrando su problemi di media difficoltà, preservando al contempo l'efficienza dei token. Inoltre, analizziamo la robustezza del modello, riscontrando che il nostro metodo riduce il degrado delle prestazioni sotto l'effetto di prefissi di errore fuorvianti, sebbene con un leggero compromesso nell'aderenza al ragionamento corretto iniziale. Infine, dimostriamo che un approccio iterativo, che aggiorna i prefissi di errore durante l'addestramento, sblocca ulteriori guadagni dopo il raggiungimento di plateau prestazionali. Nel complesso, i nostri risultati suggeriscono che il condizionamento sul prefisso di errore offre una via efficace per estendere l'addestramento RLVR su problemi saturi.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved the reasoning abilities of large language models (LLMs), yet training often stalls as problems become saturated. We identify the core challenge as the poor accessibility of informative failures: learning signals exist but are rarely encountered during standard rollouts. To address this, we propose failure-prefix conditioning, a simple and effective method for learning from saturated problems. Rather than starting from the original question, our approach reallocates exploration by conditioning training on prefixes derived from rare incorrect reasoning trajectories, thereby exposing the model to failure-prone states. We observe that failure-prefix conditioning yields performance gains matching those of training on medium-difficulty problems, while preserving token efficiency. Furthermore, we analyze the model's robustness, finding that our method reduces performance degradation under misleading failure prefixes, albeit with a mild trade-off in adherence to correct early reasoning. Finally, we demonstrate that an iterative approach, which refreshes failure prefixes during training, unlocks additional gains after performance plateaus. Overall, our results suggest that failure-prefix conditioning offers an effective pathway to extend RLVR training on saturated problems.