KnowRL : Amélioration du raisonnement des LLM par apprentissage par renforcement avec un guidage par connaissances minimales suffisantes

Résumé

RLVR améliore le raisonnement des grands modèles de langage, mais son efficacité est souvent limitée par une sévérité de la rareté des récompenses sur les problèmes difficiles. Les méthodes récentes de RL basées sur des indices atténuent cette rareté en injectant des solutions partielles ou des modèles abstraits, mais elles augmentent généralement le guidage en ajoutant plus de tokens, ce qui introduit de la redondance, des incohérences et une surcharge d'entraînement supplémentaire. Nous proposons KnowRL (Reinforcement Learning Guidé par la Connaissance), un cadre d'entraînement par RL qui traite la conception des indices comme un problème de guidage minimal-suffisant. Pendant l'entraînement RL, KnowRL décompose le guidage en points de connaissance atomiques (KP) et utilise une Recherche de Sous-ensemble Contraint (CSS) pour construire des sous-ensembles compacts et conscients des interactions pour l'entraînement. Nous identifions en outre un paradoxe d'interaction par élagage – supprimer un KP peut aider tandis que supprimer plusieurs de ces KP peut nuire – et optimisons explicitement la curation robuste de sous-ensembles sous cette structure de dépendance. Nous entraînons KnowRL-Nemotron-1.5B à partir d'OpenMath-Nemotron-1.5B. Sur huit benchmarks de raisonnement à l'échelle 1.5B, KnowRL-Nemotron-1.5B surpasse systématiquement les bases de référence solides en RL et avec indices. Sans indices KP à l'inférence, KnowRL-Nemotron-1.5B atteint une précision moyenne de 70,08, surpassant déjà Nemotron-1.5B de +9,63 points ; avec des KPs sélectionnés, la performance s'améliore à 74,16, établissant un nouvel état de l'art à cette échelle. Le modèle, les données d'entraînement curatées et le code sont publiquement disponibles à l'adresse https://github.com/Hasuer/KnowRL.

English

RLVR improves reasoning in large language models, but its effectiveness is often limited by severe reward sparsity on hard problems. Recent hint-based RL methods mitigate sparsity by injecting partial solutions or abstract templates, yet they typically scale guidance by adding more tokens, which introduce redundancy, inconsistency, and extra training overhead. We propose KnowRL (Knowledge-Guided Reinforcement Learning), an RL training framework that treats hint design as a minimal-sufficient guidance problem. During RL training, KnowRL decomposes guidance into atomic knowledge points (KPs) and uses Constrained Subset Search (CSS) to construct compact, interaction-aware subsets for training. We further identify a pruning interaction paradox -- removing one KP may help while removing multiple such KPs can hurt -- and explicitly optimize for robust subset curation under this dependency structure. We train KnowRL-Nemotron-1.5B from OpenMath-Nemotron-1.5B. Across eight reasoning benchmarks at the 1.5B scale, KnowRL-Nemotron-1.5B consistently outperforms strong RL and hinting baselines. Without KP hints at inference, KnowRL-Nemotron-1.5B reaches 70.08 average accuracy, already surpassing Nemotron-1.5B by +9.63 points; with selected KPs, performance improves to 74.16, establishing a new state of the art at this scale. The model, curated training data, and code are publicly available at https://github.com/Hasuer/KnowRL.

KnowRL : Amélioration du raisonnement des LLM par apprentissage par renforcement avec un guidage par connaissances minimales suffisantes

KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance

Résumé

Support