Kann RL LLMs langfristiges Denken beibringen? Die Ausdrucksfähigkeit ist entscheidend.
Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key
May 7, 2026
Autoren: Tianle Wang, Zhaoyang Wang, Guangchen Lan, Xinpeng Wei, Sipeng Zhang, Guanwen Qiu, Abulhair Saparov
cs.AI
Zusammenfassung
Reinforcement Learning (RL) wurde bereits eingesetzt, um das logische Schließen großer Sprachmodelle (LLMs) zu verbessern, doch eine systematische Untersuchung, wie sich das Training mit dem Schwierigkeitsgrad der Aufgabe skaliert, wurde bisher durch das Fehlen kontrollierter, skalierbarer Umgebungen behindert. Wir stellen ScaleLogic vor, ein synthetisches Framework für logisches Schließen, das eine unabhängige Steuerung über zwei Schwierigkeitsachsen bietet: die Tiefe der erforderlichen Beweisplanung (d.h. den Planungshorizont) und die Ausdrucksstärke der zugrundeliegenden Logik. Unser Framework unterstützt eine breite Palette von Logiken: von einer einfachen Implikationslogik ("wenn-dann") bis hin zu ausdrucksstärkerem Schließen erster Ordnung mit Konjunktion ("und"), Disjunktion ("oder"), Negation ("nicht") und universeller Quantifizierung ("für alle"). Mithilfe dieses Frameworks zeigen wir, dass der für das RL-Training erforderliche Rechenaufwand T einem Potenzgesetz in Bezug auf die Schließtiefe D folgt (T ∝ D^γ, R² > 0,99) und dass der Skalierungsexponent γ monoton mit der logischen Ausdrucksstärke von 1,04 auf 2,60 ansteigt. Bei nachgelagerten Benchmarks für Mathematik und allgemeines logisches Schließen führen Trainingssettings mit höherer Ausdrucksstärke sowohl zu größeren Leistungssteigerungen (bis zu +10,66 Punkten) als auch zu einem recheneffizienteren Transfer im Vergleich zu Settings mit geringerer Ausdrucksstärke. Dies zeigt, dass nicht nur das Ausmaß, sondern auch der Inhalt des Trainings den nachgelagerten Transfer prägt. Wir zeigen weiterhin, dass das Potenzgesetz über mehrere RL-Methoden hinweg Bestand hat und ein curriculumbasiertes Training die Skalierungseffizienz erheblich verbessert.
English
Reinforcement learning (RL) has been applied to improve large language model (LLM) reasoning, yet the systematic study of how training scales with task difficulty has been hampered by the lack of controlled, scalable environments. We introduce ScaleLogic, a synthetic logical reasoning framework that offers independent control over two axes of difficulty: the depth of the required proof planning (i.e., the horizon) and the expressiveness of the underlying logic. Our proposed framework supports a wide range of logics: from simple implication-only logic ("if-then") towards more expressive first-order reasoning with conjunction ("and"), disjunction ("or"), negation ("not"), and universal quantification ("for all"). Using this framework, we show that the RL training compute T follows a power law with respect to reasoning depth D (T propto D^γ, R^{2} > 0.99), and that the scaling exponent γ increases monotonically with logical expressiveness, from 1.04 to 2.60. On downstream mathematics and general reasoning benchmarks, more expressive training settings yield both larger performance gains (up to +10.66 points) and more compute-efficient transfer compared to less expressive settings, demonstrating that what a model is trained on, not just how much it is trained, shapes downstream transfer. We further show that the power-law relationship holds across multiple RL methods, and curriculum-based training substantially improves scaling efficiency.