KnowRL: Исследование осведомленного обучения с подкреплением для обеспечения фактической достоверности

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Авторы: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Аннотация

Крупные языковые модели (LLM), особенно модели с медленным мышлением, часто демонстрируют сильные галлюцинации, выдавая некорректный контент из-за неспособности точно распознавать границы знаний в процессе рассуждений. Хотя обучение с подкреплением (RL) может улучшить способности к сложным рассуждениям, его ориентированный на результат механизм вознаграждения часто не обеспечивает фактического контроля над процессом мышления, что еще больше усугубляет проблему галлюцинаций. Для решения проблемы высокого уровня галлюцинаций в моделях с медленным мышлением мы предлагаем Knowledge-enhanced RL, или KnowRL. KnowRL направляет модели на выполнение медленного мышления, основанного на фактах, путем интеграции вознаграждения за фактическую достоверность, основанного на проверке знаний, в процесс обучения RL, помогая им распознавать свои границы знаний. Этот целенаправленный ввод фактической информации в процессе обучения RL позволяет модели изучать и усваивать стратегии рассуждений, основанные на фактах. Непосредственно вознаграждая соблюдение фактов на этапах рассуждений, KnowRL способствует более надежному процессу мышления. Результаты экспериментов на трех наборах данных для оценки галлюцинаций и двух наборах данных для оценки рассуждений показывают, что KnowRL эффективно снижает галлюцинации в моделях с медленным мышлением, сохраняя при этом их изначальные сильные способности к рассуждениям. Наш код доступен по адресу https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.