Kunnen RL-modellen LLM's leren om op lange termijn te redeneren? Expressiviteit is de sleutel.

Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key

May 7, 2026

Auteurs: Tianle Wang, Zhaoyang Wang, Guangchen Lan, Xinpeng Wei, Sipeng Zhang, Guanwen Qiu, Abulhair Saparov

cs.AI

Samenvatting

Versterkend leren (RL) is toegepast om het redeneervermogen van grote taalmmodellen (LLM's) te verbeteren, maar het systematische onderzoek naar hoe training schaalt met de taakmoeilijkheid werd tot nu toe belemmerd door een gebrek aan gecontroleerde, schaalbare omgevingen. Wij introduceren ScaleLogic, een synthetisch logisch redeneerkader dat onafhankelijke controle biedt over twee moeilijkheidsassen: de diepte van de vereiste bewijsplanning (d.w.z. de horizon) en de expressiviteit van de onderliggende logica. Ons voorgestelde kader ondersteunt een breed scala aan logica's: van eenvoudige implicatielogica ("als-dan") tot expressievere eerstegraadsredenering met conjunctie ("en"), disjunctie ("of"), negatie ("niet") en universele kwantificering ("voor alle"). Met dit kader tonen we aan dat de RL-trainingsrekentijd T een machtswet volgt ten opzichte van de redeneerdiepte D (T ∝ D^γ, R² > 0.99), en dat de schaalexponent γ monotoon toeneemt met de logische expressiviteit, van 1.04 naar 2.60. Op downstream benchmarks voor wiskunde en algemeen redeneren leveren expressievere trainingsinstellingen zowel grotere prestatieverbeteringen op (tot +10.66 punten) als een rekenzuinigere transfer in vergelijking met minder expressieve instellingen. Dit demonstreert dat waarop een model wordt getraind, niet alleen hoeveel het wordt getraind, de downstream-transfer vormgeeft. We tonen verder aan dat de machtswet-relatie standhoudt over meerdere RL-methoden, en dat curriculumgebaseerde training de schaalbaarheidsefficiëntie aanzienlijk verbetert.

English

Reinforcement learning (RL) has been applied to improve large language model (LLM) reasoning, yet the systematic study of how training scales with task difficulty has been hampered by the lack of controlled, scalable environments. We introduce ScaleLogic, a synthetic logical reasoning framework that offers independent control over two axes of difficulty: the depth of the required proof planning (i.e., the horizon) and the expressiveness of the underlying logic. Our proposed framework supports a wide range of logics: from simple implication-only logic ("if-then") towards more expressive first-order reasoning with conjunction ("and"), disjunction ("or"), negation ("not"), and universal quantification ("for all"). Using this framework, we show that the RL training compute T follows a power law with respect to reasoning depth D (T propto D^γ, R^{2} > 0.99), and that the scaling exponent γ increases monotonically with logical expressiveness, from 1.04 to 2.60. On downstream mathematics and general reasoning benchmarks, more expressive training settings yield both larger performance gains (up to +10.66 points) and more compute-efficient transfer compared to less expressive settings, demonstrating that what a model is trained on, not just how much it is trained, shapes downstream transfer. We further show that the power-law relationship holds across multiple RL methods, and curriculum-based training substantially improves scaling efficiency.