KnowRL: Verkenning van Kennisrijke Reinforcement Learning voor Feitelijkheid

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Auteurs: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's), met name langzaam denkende modellen, vertonen vaak ernstige hallucinaties, waarbij ze incorrecte inhoud produceren vanwege het onvermogen om kennisgrenzen tijdens het redeneren nauwkeurig te herkennen. Hoewel Reinforcement Learning (RL) complexe redeneervaardigheden kan verbeteren, ontbreekt het vaak aan feitelijke supervisie over het denkproces in de uitkomstgerichte beloningsmechanismen, wat het hallucinatieprobleem verder verergert. Om het hoge hallucinatiegehalte in langzaam denkende modellen aan te pakken, stellen we Knowledge-enhanced RL voor, genaamd KnowRL. KnowRL begeleidt modellen bij het uitvoeren van feitelijk onderbouwd langzaam denken door een feitelijkheidsbeloning, gebaseerd op kennisverificatie, te integreren in het RL-trainingsproces, waardoor ze hun kennisgrenzen beter kunnen herkennen. Deze gerichte feitelijke input tijdens de RL-training stelt het model in staat om feitelijk onderbouwde redeneerstrategieën te leren en te internaliseren. Door directe beloning voor het naleven van feiten binnen de redeneerstappen, bevordert KnowRL een betrouwbaarder denkproces. Experimentele resultaten op drie hallucinatie-evaluatiedatasets en twee redeneer-evaluatiedatasets tonen aan dat KnowRL hallucinaties in langzaam denkende modellen effectief vermindert, terwijl hun oorspronkelijke sterke redeneercapaciteiten behouden blijven. Onze code is beschikbaar op https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.