Von f(x) und g(x) zu f(g(x)): LLMs erlernen neue Fähigkeiten im RL durch die Kombination alter Fähigkeiten

papers.abstract

Vermittelt RL LLMs tatsächlich neue Fähigkeiten, oder aktiviert es lediglich bestehende? Diese Frage steht im Zentrum der aktuellen Debatten über die Rolle von RL in der Nachschulung von LLMs. Einerseits können mit RL auch ohne vorheriges überwachtes Feintuning starke empirische Ergebnisse erzielt werden; andererseits argumentieren Kritiker, dass RL wenig mehr beiträgt als die Neugewichtung bestehender Denkstrategien. Diese Arbeit liefert konkrete Belege dafür, dass LLMs während des RL tatsächlich neue Fähigkeiten erwerben können, indem sie bestehende kombinieren – ein Mechanismus, der dem zentralen Prozess ähnelt, durch den Menschen neue kognitive Fähigkeiten erlangen. Um Datenkontamination und andere Störfaktoren zu minimieren und eine präzise Kontrolle über die Aufgabenkomplexität zu ermöglichen, entwickeln wir ein synthetisches Rahmenwerk für unsere Untersuchung. Konkret definieren wir eine Fähigkeit als die Möglichkeit, die Ausgabe einer String-Transformationsfunktion f(x) bei gegebenem x abzuleiten. Wenn ein LLM f und g bereits vor dem RL gelernt hat, zeigen unsere Experimente, dass RL es ihm ermöglicht, unbekannte Kompositionen davon zu erlernen, wie h(x)=g(f(x)). Darüber hinaus verallgemeinert sich diese Kompositionsfähigkeit auf schwierigere Probleme, wie die Komposition von >2 Funktionen, die während des RL-Trainings nicht gesehen wurden. Überraschenderweise zeigen unsere Experimente, dass die im Rahmen einer Quellaufgabe erworbene Kompositionsfähigkeit auf eine andere Zielaufgabe übertragbar ist. Diese Übertragung erfolgt sogar ohne kompositorisches Training auf der Zielaufgabe und erfordert lediglich Vorwissen über die atomaren Fähigkeiten der Zielaufgabe. Unsere qualitative Analyse zeigt, dass RL das Denkverhalten der Modelle grundlegend verändert. Im Gegensatz dazu führt das Training auf der Grundlage des nächsten Tokens mit denselben Daten zu keinen dieser Erkenntnisse. Unsere systematischen Experimente bieten neue Einblicke in das Lernen von LLMs und legen nahe, dass es sinnvoll ist, zunächst Basismodelle mit grundlegenden Fähigkeiten zu entwickeln und dann RL zu nutzen, um fortgeschrittene, verallgemeinerbare Fähigkeiten für komplexe Probleme zu fördern.

English

Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.

Von f(x) und g(x) zu f(g(x)): LLMs erlernen neue Fähigkeiten im RL durch die Kombination alter Fähigkeiten

From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones

papers.abstract

Support