KnowRL: Повышение способности языковых моделей к рассуждению с помощью обучения с подкреплением на основе минимально-достаточных знаний
KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance
April 14, 2026
Авторы: Linhao Yu, Tianmeng Yang, Siyu Ding, Renren Jin, Naibin Gu, Xiangzhao Hao, Shuaiyi Nie, Deyi Xiong, Weichong Yin, Yu Sun, Hua Wu
cs.AI
Аннотация
RLVR улучшает способность к рассуждениям у больших языковых моделей, но её эффективность часто ограничена сильной разреженностью вознаграждений на сложных задачах. Современные методы RL с подсказками смягчают эту разреженность, вводя частичные решения или абстрактные шаблоны, однако обычно они масштабируют руководство путём добавления большего количества токенов, что приводит к избыточности, несогласованности и увеличению вычислительных затрат на обучение. Мы предлагаем KnowRL (Обучение с подкреплением, управляемое знаниями) — фреймворк для RL-обучения, который рассматривает проектирование подсказок как задачу поиска минимально-достаточного руководства. В процессе RL-обучения KnowRL декомпозирует руководство на атомарные пункты знаний (Knowledge Points, KPs) и использует поиск ограниченного подмножества (Constrained Subset Search, CSS) для построения компактных, учитывающих взаимодействие подмножеств для обучения. Мы также выявляем парадокс взаимодействия при отсечении — удаление одного KP может помогать, тогда как удаление нескольких таких KPs может вредить — и явно оптимизируем процесс отбора устойчивых подмножеств с учётом этой структуры зависимостей. Мы обучили модель KnowRL-Nemotron-1.5B на основе OpenMath-Nemotron-1.5B. На восьми тестовых наборах для оценки рассуждений в масштабе 1.5B параметров KnowRL-Nemotron-1.5B стабильно превосходит сильные базовые методы RL и методы с подсказками. Без использования подсказок в виде KPs на этапе вывода KnowRL-Nemotron-1.5B достигает средней точности 70.08, что уже на +9.63 пункта превосходит показатели Nemotron-1.5B; с использованием выбранных KPs производительность возрастает до 74.16, устанавливая новое состояние искусства для данного масштаба моделей. Модель, отобранные данные для обучения и код общедоступны по адресу https://github.com/Hasuer/KnowRL.
English
RLVR improves reasoning in large language models, but its effectiveness is often limited by severe reward sparsity on hard problems. Recent hint-based RL methods mitigate sparsity by injecting partial solutions or abstract templates, yet they typically scale guidance by adding more tokens, which introduce redundancy, inconsistency, and extra training overhead. We propose KnowRL (Knowledge-Guided Reinforcement Learning), an RL training framework that treats hint design as a minimal-sufficient guidance problem. During RL training, KnowRL decomposes guidance into atomic knowledge points (KPs) and uses Constrained Subset Search (CSS) to construct compact, interaction-aware subsets for training. We further identify a pruning interaction paradox -- removing one KP may help while removing multiple such KPs can hurt -- and explicitly optimize for robust subset curation under this dependency structure. We train KnowRL-Nemotron-1.5B from OpenMath-Nemotron-1.5B. Across eight reasoning benchmarks at the 1.5B scale, KnowRL-Nemotron-1.5B consistently outperforms strong RL and hinting baselines. Without KP hints at inference, KnowRL-Nemotron-1.5B reaches 70.08 average accuracy, already surpassing Nemotron-1.5B by +9.63 points; with selected KPs, performance improves to 74.16, establishing a new state of the art at this scale. The model, curated training data, and code are publicly available at https://github.com/Hasuer/KnowRL.