KnowRL: Erforschung von wissensbasiertem Reinforcement Learning für Faktizität

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Autoren: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), insbesondere langsam denkende Modelle, zeigen oft starke Halluzinationen, indem sie falsche Inhalte ausgeben, da sie während des Schlussfolgerns nicht in der Lage sind, Wissensgrenzen genau zu erkennen. Während Reinforcement Learning (RL) die Fähigkeiten zum komplexen Schlussfolgern verbessern kann, fehlt seinem ergebnisorientierten Belohnungsmechanismus oft eine faktische Überwachung des Denkprozesses, was das Halluzinationsproblem weiter verschärft. Um die hohe Halluzinationsrate in langsam denkenden Modellen zu adressieren, schlagen wir Knowledge-enhanced RL, KnowRL, vor. KnowRL leitet Modelle an, faktenbasiertes langsames Denken durchzuführen, indem es eine Faktizitätsbelohnung, basierend auf Wissensüberprüfung, in den RL-Trainingsprozess integriert und ihnen hilft, ihre Wissensgrenzen zu erkennen. Diese gezielte faktische Eingabe während des RL-Trainings ermöglicht es dem Modell, faktenbasierte Schlussfolgerungsstrategien zu erlernen und zu verinnerlichen. Durch die direkte Belohnung der Einhaltung von Fakten innerhalb der Denkschritte fördert KnowRL einen zuverlässigeren Denkprozess. Experimentelle Ergebnisse auf drei Halluzinationsbewertungsdatensätzen und zwei Schlussfolgerungsbewertungsdatensätzen zeigen, dass KnowRL Halluzinationen in langsam denkenden Modellen effektiv reduziert, während ihre ursprünglich starken Schlussfolgerungsfähigkeiten erhalten bleiben. Unser Code ist verfügbar unter https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.