Может ли обучение с подкреплением научить большие языковые модели стратегическому мышлению? Ключевой фактор — выразительная сила

Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key

May 7, 2026

Авторы: Tianle Wang, Zhaoyang Wang, Guangchen Lan, Xinpeng Wei, Sipeng Zhang, Guanwen Qiu, Abulhair Saparov

cs.AI

Аннотация

Обучение с подкреплением (ОП) применяется для улучшения логических рассуждений больших языковых моделей (БЯМ), однако систематическое изучение того, как масштабируется обучение в зависимости от сложности задачи, затруднено из-за отсутствия контролируемых и масштабируемых сред. Мы представляем ScaleLogic — синтетическую логическую среду, которая обеспечивает независимый контроль по двум осям сложности: глубине необходимого планирования доказательства (т.е. горизонту) и выразительности базовой логики. Предлагаемая среда поддерживает широкий спектр логик: от простой импликационной логики («если-то») до более выразительных рассуждений первого порядка с конъюнкцией («и»), дизъюнкцией («или»), отрицанием («не») и универсальной квантификацией («для всех»). Используя эту среду, мы показываем, что вычислительные затраты на обучение методом ОП T подчиняются степенному закону относительно глубины рассуждений D (T ∝ D^γ, R² > 0.99), и что показатель масштабирования γ монотонно возрастает с увеличением логической выразительности — от 1.04 до 2.60. На бенчмарках по математике и общим рассуждениям более выразительные настройки обучения приводят как к большему приросту производительности (до +10.66 пунктов), так и к более вычислительно-эффективному переносу по сравнению с менее выразительными настройками, что демонстрирует: то, на чем обучается модель, а не только объем обучения, формирует последующий перенос. Мы также показываем, что степенная зависимость сохраняется для различных методов ОП, а обучение на основе учебного плана существенно повышает эффективность масштабирования.

English

Reinforcement learning (RL) has been applied to improve large language model (LLM) reasoning, yet the systematic study of how training scales with task difficulty has been hampered by the lack of controlled, scalable environments. We introduce ScaleLogic, a synthetic logical reasoning framework that offers independent control over two axes of difficulty: the depth of the required proof planning (i.e., the horizon) and the expressiveness of the underlying logic. Our proposed framework supports a wide range of logics: from simple implication-only logic ("if-then") towards more expressive first-order reasoning with conjunction ("and"), disjunction ("or"), negation ("not"), and universal quantification ("for all"). Using this framework, we show that the RL training compute T follows a power law with respect to reasoning depth D (T propto D^γ, R^{2} > 0.99), and that the scaling exponent γ increases monotonically with logical expressiveness, from 1.04 to 2.60. On downstream mathematics and general reasoning benchmarks, more expressive training settings yield both larger performance gains (up to +10.66 points) and more compute-efficient transfer compared to less expressive settings, demonstrating that what a model is trained on, not just how much it is trained, shapes downstream transfer. We further show that the power-law relationship holds across multiple RL methods, and curriculum-based training substantially improves scaling efficiency.