De f(x) et g(x) à f(g(x)) : les LLM apprennent de nouvelles compétences en RL en composant les anciennes

From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones

September 29, 2025

papers.authors: Lifan Yuan, Weize Chen, Yuchen Zhang, Ganqu Cui, Hanbin Wang, Ziming You, Ning Ding, Zhiyuan Liu, Maosong Sun, Hao Peng

cs.AI

papers.abstract

L'apprentissage par renforcement (RL) permet-il aux LLM d'acquérir de véritables nouvelles compétences, ou se contente-t-il d'activer celles déjà existantes ? Cette question est au cœur des débats actuels sur le rôle du RL dans le post-entraînement des LLM. D'un côté, des résultats empiriques solides peuvent être obtenus avec le RL même sans fine-tuning supervisé préalable ; de l'autre, certains critiques soutiennent que le RL ne contribue guère au-delà d'une revalorisation des stratégies de raisonnement existantes. Ce travail apporte des preuves concrètes que les LLM peuvent acquérir de véritables nouvelles compétences pendant le RL en composant celles déjà acquises, reflétant ainsi l'un des mécanismes centraux par lesquels les humains développent de nouvelles capacités cognitives. Pour atténuer les effets de la contamination des données et d'autres facteurs confondants, et pour permettre un contrôle précis de la complexité des tâches, nous avons développé un cadre synthétique pour notre étude. Plus précisément, nous définissons une compétence comme la capacité à déduire la sortie d'une fonction de transformation de chaînes f(x) étant donné x. Lorsqu'un LLM a déjà appris f et g avant le RL, nos expériences révèlent que le RL lui permet d'apprendre des compositions inédites de celles-ci, h(x)=g(f(x)). De plus, cette capacité compositionnelle se généralise à des problèmes plus complexes, tels que des compositions de plus de deux fonctions non vues pendant l'entraînement RL. Étonnamment, nos expériences montrent que la compétence compositionnelle acquise sur une tâche source se transfère à une tâche cible différente. Ce transfert se produit même sans entraînement compositionnel sur la cible, nécessitant seulement une connaissance préalable des compétences atomiques de la cible. Notre analyse qualitative montre que le RL modifie fondamentalement les comportements de raisonnement des modèles. En revanche, un entraînement par prédiction du token suivant avec les mêmes données ne produit aucun de ces résultats. Nos expériences systématiques apportent de nouveaux éclairages sur l'apprentissage des LLM, suggérant la valeur de construire d'abord des modèles de base avec des compétences élémentaires, puis d'utiliser le RL pour encourager des compétences avancées et généralisables pour résoudre des problèmes complexes.

English

Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.