Entrenamiento de Modelos de Razonamiento en Problemas Saturados mediante Acondicionamiento por Prefijo de Falla

Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning

January 28, 2026

Autores: Minwu Kim, Safal Shrestha, Keith Ross

cs.AI

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado sustancialmente las capacidades de razonamiento de los modelos de lenguaje grandes (LLM), sin embargo, el entrenamiento a menudo se estanca a medida que los problemas se saturan. Identificamos que el desafío central es la baja accesibilidad de los fallos informativos: las señales de aprendizaje existen, pero rara vez se encuentran durante las ejecuciones estándar. Para abordar esto, proponemos el condicionamiento por prefijos de fallo, un método simple y efectivo para aprender de problemas saturados. En lugar de comenzar desde la pregunta original, nuestro enfoque reasigna la exploración condicionando el entrenamiento en prefijos derivados de trayectorias de razonamiento incorrectas poco frecuentes, exponiendo así al modelo a estados propensos al fallo. Observamos que el condicionamiento por prefijos de fallo produce ganancias de rendimiento equivalentes a las del entrenamiento en problemas de dificultad media, preservando la eficiencia de tokens. Además, analizamos la robustez del modelo, encontrando que nuestro método reduce la degradación del rendimiento bajo prefijos de fallo engañosos, aunque con un ligero equilibrio en la adherencia al razonamiento correcto temprano. Finalmente, demostramos que un enfoque iterativo, que actualiza los prefijos de fallo durante el entrenamiento, desbloquea ganancias adicionales después de que el rendimiento alcanza mesetas. En general, nuestros resultados sugieren que el condicionamiento por prefijos de fallo ofrece una vía efectiva para extender el entrenamiento RLVR en problemas saturados.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved the reasoning abilities of large language models (LLMs), yet training often stalls as problems become saturated. We identify the core challenge as the poor accessibility of informative failures: learning signals exist but are rarely encountered during standard rollouts. To address this, we propose failure-prefix conditioning, a simple and effective method for learning from saturated problems. Rather than starting from the original question, our approach reallocates exploration by conditioning training on prefixes derived from rare incorrect reasoning trajectories, thereby exposing the model to failure-prone states. We observe that failure-prefix conditioning yields performance gains matching those of training on medium-difficulty problems, while preserving token efficiency. Furthermore, we analyze the model's robustness, finding that our method reduces performance degradation under misleading failure prefixes, albeit with a mild trade-off in adherence to correct early reasoning. Finally, we demonstrate that an iterative approach, which refreshes failure prefixes during training, unlocks additional gains after performance plateaus. Overall, our results suggest that failure-prefix conditioning offers an effective pathway to extend RLVR training on saturated problems.