KnowRL: Verbesserung des Reasoning von LLMs durch Reinforcement Learning mit minimaler hinreichender Wissensführung

KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance

April 14, 2026

Autoren: Linhao Yu, Tianmeng Yang, Siyu Ding, Renren Jin, Naibin Gu, Xiangzhao Hao, Shuaiyi Nie, Deyi Xiong, Weichong Yin, Yu Sun, Hua Wu

cs.AI

Zusammenfassung

RLVR verbessert das logische Denkvermögen großer Sprachmodelle, doch seine Wirksamkeit wird häufig durch starke Belohnungssparsität bei schwierigen Problemen eingeschränkt. Neuere, hinweisbasierte RL-Methoden mildern diese Sparsität durch das Einspielen teilweiser Lösungen oder abstrakter Templates, skalieren die Führung jedoch typischerweise durch das Hinzufügen weiterer Tokens, was Redundanz, Inkonsistenz und zusätzlichen Trainingsaufwand verursacht. Wir schlagen KnowRL (Knowledge-Guided Reinforcement Learning) vor, ein RL-Trainingsframework, das Hint-Design als ein Problem minimal-suffizienter Führung behandelt. Während des RL-Trainings zerlegt KnowRL die Führung in atomare Wissenspunkte (KPs) und nutzt Constrained Subset Search (CSS), um kompakte, interaktionsbewusste Teilmengen für das Training zu konstruieren. Wir identifizieren weiterhin ein Paradoxon der beschneidenden Interaktion – das Entfernen eines KPs kann helfen, während das Entfernen mehrerer solcher KPs schaden kann – und optimieren explizit die robuste Auswahl von Teilmengen unter dieser Abhängigkeitsstruktur. Wir trainieren KnowRL-Nemotron-1.5B ausgehend von OpenMath-Nemotron-1.5B. Über acht Reasoning-Benchmarks hinweg im 1.5B-Maßstab übertrifft KnowRL-Nemotron-1.5B durchgängig starke RL- und Hinting-Baselines. Ohne KP-Hinweise beim Inferieren erreicht KnowRL-Nemotron-1.5B eine durchschnittliche Genauigkeit von 70,08 % und übertrifft damit Nemotron-1.5B bereits um +9,63 Punkte; mit ausgewählten KPs verbessert sich die Leistung auf 74,16 % und setzt damit einen neuen State-of-the-Art in dieser Größenordnung. Das Modell, die kuratierten Trainingsdaten und der Code sind öffentlich verfügbar unter https://github.com/Hasuer/KnowRL.

English

RLVR improves reasoning in large language models, but its effectiveness is often limited by severe reward sparsity on hard problems. Recent hint-based RL methods mitigate sparsity by injecting partial solutions or abstract templates, yet they typically scale guidance by adding more tokens, which introduce redundancy, inconsistency, and extra training overhead. We propose KnowRL (Knowledge-Guided Reinforcement Learning), an RL training framework that treats hint design as a minimal-sufficient guidance problem. During RL training, KnowRL decomposes guidance into atomic knowledge points (KPs) and uses Constrained Subset Search (CSS) to construct compact, interaction-aware subsets for training. We further identify a pruning interaction paradox -- removing one KP may help while removing multiple such KPs can hurt -- and explicitly optimize for robust subset curation under this dependency structure. We train KnowRL-Nemotron-1.5B from OpenMath-Nemotron-1.5B. Across eight reasoning benchmarks at the 1.5B scale, KnowRL-Nemotron-1.5B consistently outperforms strong RL and hinting baselines. Without KP hints at inference, KnowRL-Nemotron-1.5B reaches 70.08 average accuracy, already surpassing Nemotron-1.5B by +9.63 points; with selected KPs, performance improves to 74.16, establishing a new state of the art at this scale. The model, curated training data, and code are publicly available at https://github.com/Hasuer/KnowRL.