De f(x) y g(x) a f(g(x)): los LLM aprenden nuevas habilidades en RL mediante la composición de las antiguas.

From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones

September 29, 2025

Autores: Lifan Yuan, Weize Chen, Yuchen Zhang, Ganqu Cui, Hanbin Wang, Ziming You, Ning Ding, Zhiyuan Liu, Maosong Sun, Hao Peng

cs.AI

Resumen

¿El aprendizaje por refuerzo (RL) enseña a los modelos de lenguaje grandes (LLMs) habilidades genuinamente nuevas, o simplemente activa las existentes? Esta pregunta está en el centro de los debates actuales sobre el papel del RL en el post-entrenamiento de los LLMs. Por un lado, se pueden lograr resultados empíricos sólidos con RL incluso sin un ajuste supervisado previo; por otro, los críticos argumentan que el RL contribuye poco más allá de reajustar las estrategias de razonamiento existentes. Este trabajo proporciona evidencia concreta de que los LLMs pueden adquirir habilidades genuinamente nuevas durante el RL al componer las existentes, reflejando uno de los mecanismos centrales mediante los cuales los humanos adquieren nuevas habilidades cognitivas. Para mitigar la contaminación de datos y otros factores de confusión, y permitir un control preciso sobre la complejidad de las tareas, desarrollamos un marco sintético para nuestra investigación. Específicamente, definimos una habilidad como la capacidad de inferir la salida de una función de transformación de cadenas f(x) dado x. Cuando un LLM ya ha aprendido f y g antes del RL, nuestros experimentos revelan que el RL le permite aprender composiciones no vistas de ellas h(x)=g(f(x)). Además, esta capacidad composicional se generaliza a problemas más difíciles, como composiciones de >2 funciones no vistas durante el entrenamiento de RL. Sorprendentemente, nuestros experimentos muestran que la habilidad composicional adquirida en una tarea fuente se transfiere a una tarea objetivo diferente. Esta transferencia ocurre incluso sin entrenamiento composicional en el objetivo, requiriendo solo conocimiento previo de las habilidades atómicas del objetivo. Nuestro análisis cualitativo muestra que el RL cambia fundamentalmente los comportamientos de razonamiento de los modelos. En contraste, el entrenamiento de siguiente token con los mismos datos no produce ninguno de estos hallazgos. Nuestros experimentos sistemáticos proporcionan nuevas perspectivas sobre el aprendizaje de los LLMs, sugiriendo el valor de construir primero modelos base con habilidades básicas, y luego usar el RL para incentivar habilidades avanzadas y generalizables para problemas complejos.

English

Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.