Van f(x) en g(x) naar f(g(x)): LLM's leren nieuwe vaardigheden in RL door oude te combineren

From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones

September 29, 2025

Auteurs: Lifan Yuan, Weize Chen, Yuchen Zhang, Ganqu Cui, Hanbin Wang, Ziming You, Ning Ding, Zhiyuan Liu, Maosong Sun, Hao Peng

cs.AI

Samenvatting

Leert RL LLMs echt nieuwe vaardigheden aan, of activeert het slechts bestaande? Deze vraag ligt aan de kern van de lopende debatten over de rol van RL in de post-training van LLMs. Aan de ene kant kunnen sterke empirische resultaten worden behaald met RL, zelfs zonder voorafgaande supervised finetuning; aan de andere kant beweren critici dat RL weinig bijdraagt behalve het herwegen van bestaande redeneerstrategieën. Dit werk levert concreet bewijs dat LLMs tijdens RL echt nieuwe vaardigheden kunnen verwerven door bestaande vaardigheden te combineren, wat een van de centrale mechanismen weerspiegelt waarmee mensen nieuwe cognitieve vaardigheden verwerven. Om datavervuiling en andere verstorende factoren te beperken, en om precieze controle over de taakcomplexiteit mogelijk te maken, ontwikkelen we een synthetisch kader voor ons onderzoek. Specifiek definiëren we een vaardigheid als het vermogen om de uitvoer van een stringtransformatiefunctie f(x) af te leiden gegeven x. Wanneer een LLM f en g al heeft geleerd vóór RL, tonen onze experimenten aan dat RL het in staat stelt om onbekende composities ervan te leren, zoals h(x)=g(f(x)). Bovendien generaliseert dit compositieve vermogen naar moeilijkere problemen, zoals composities van >2 functies die niet zijn gezien tijdens de RL-training. Verrassend genoeg laten onze experimenten zien dat de compositieve vaardigheid die is verworven op een bron-taak, wordt overgedragen naar een ander doel-taak. Deze overdracht vindt plaats zelfs zonder compositieve training op het doel, waarbij alleen voorkennis van de atomische vaardigheden van het doel vereist is. Onze kwalitatieve analyse toont aan dat RL fundamenteel de redeneergedragingen van de modellen verandert. In tegenstelling hiermee levert next-token training met dezelfde data geen van deze bevindingen op. Onze systematische experimenten bieden nieuwe inzichten in het leren van LLMs, wat suggereert dat het waardevol is om eerst basismodellen te bouwen met basisvaardigheden, en vervolgens RL te gebruiken om geavanceerde, generaliseerbare vaardigheden aan te moedigen voor complexe problemen.

English

Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.