От f(x) и g(x) к f(g(x)): крупные языковые модели осваивают новые навыки в обучении с подкреплением через композицию старых

From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones

September 29, 2025

Авторы: Lifan Yuan, Weize Chen, Yuchen Zhang, Ganqu Cui, Hanbin Wang, Ziming You, Ning Ding, Zhiyuan Liu, Maosong Sun, Hao Peng

cs.AI

Аннотация

Обучает ли RL языковые модели (LLM) действительно новым навыкам или просто активирует уже существующие? Этот вопрос лежит в основе текущих дебатов о роли RL в пост-обучении LLM. С одной стороны, сильные эмпирические результаты могут быть достигнуты с помощью RL даже без предшествующего контролируемого дообучения; с другой стороны, критики утверждают, что RL вносит мало нового, за исключением перевеса существующих стратегий рассуждений. Данная работа предоставляет конкретные доказательства того, что LLM могут приобретать действительно новые навыки в процессе RL, комбинируя уже существующие, что отражает один из ключевых механизмов, с помощью которых люди приобретают новые когнитивные навыки. Чтобы минимизировать влияние загрязнения данных и других смешивающих факторов, а также обеспечить точный контроль над сложностью задач, мы разработали синтетическую структуру для нашего исследования. В частности, мы определяем навык как способность выводить результат функции преобразования строки f(x) при заданном x. Когда LLM уже изучила f и g до RL, наши эксперименты показывают, что RL позволяет ей изучить неизвестные ранее композиции h(x)=g(f(x)). Более того, эта способность к композиции обобщается на более сложные задачи, такие как композиции более чем двух функций, не встречавшихся во время обучения RL. Удивительно, но наши эксперименты показывают, что композиционный навык, приобретенный на исходной задаче, переносится на другую целевую задачу. Этот перенос происходит даже без композиционного обучения на целевой задаче, требуя лишь предварительного знания атомарных навыков для цели. Наш качественный анализ показывает, что RL фундаментально изменяет поведение моделей в процессе рассуждений. В отличие от этого, обучение на предсказании следующего токена с теми же данными не дает подобных результатов. Наши систематические эксперименты предоставляют новые инсайты в обучение LLM, предполагая ценность сначала построения базовых моделей с основными навыками, а затем использования RL для стимулирования продвинутых, обобщаемых навыков для решения сложных задач.

English

Does RL teach LLMs genuinely new skills, or does it merely activate existing ones? This question lies at the core of ongoing debates about the role of RL in LLM post-training. On one side, strong empirical results can be achieved with RL even without preceding supervised finetuning; on the other, critics argue that RL contributes little beyond reweighting existing reasoning strategies. This work provides concrete evidence that LLMs can acquire genuinely new skills during RL by composing existing ones, mirroring one of the central mechanisms by which humans acquire new cognitive skills. To mitigate data contamination and other confounding factors, and to allow precise control over task complexity, we develop a synthetic framework for our investigation. Specifically, we define a skill as the ability to infer the output of a string transformation function f(x) given x. When an LLM has already learned f and g prior to RL, our experiments reveal that RL enables it to learn unseen compositions of them h(x)=g(f(x)). Further, this compositional ability generalizes to more difficult problems such as compositions of >2 functions unseen during RL training. Surprisingly, our experiments show that compositional skill acquired on a source task transfers to a different target task. This transfer happens even without compositional training on the target, requiring only prior knowledge of the target's atomic skills. Our qualitative analysis shows that RL fundamentally changes the reasoning behaviors of the models. In contrast, next-token training with the same data yields none of these findings. Our systematic experiments provide fresh insights into LLM learning, suggesting the value of first building base models with basic skills, then using RL to incentivize advanced, generalizable skills for complex problems.