KnowRL : Exploration de l'apprentissage par renforcement informé pour la factualité

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Auteurs: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs), en particulier les modèles à pensée lente, présentent souvent des hallucinations sévères, produisant un contenu incorrect en raison de leur incapacité à reconnaître avec précision les limites des connaissances lors du raisonnement. Bien que l'apprentissage par renforcement (RL) puisse améliorer les capacités de raisonnement complexe, son mécanisme de récompense axé sur les résultats manque souvent de supervision factuelle sur le processus de pensée, exacerbant ainsi le problème d'hallucination. Pour remédier à l'hallucination élevée dans les modèles à pensée lente, nous proposons le RL amélioré par la connaissance, KnowRL. KnowRL guide les modèles à effectuer une pensée lente basée sur les faits en intégrant une récompense de factualité, basée sur la vérification des connaissances, dans le processus de formation RL, les aidant à reconnaître leurs limites de connaissances. KnowRL guide les modèles à effectuer une pensée lente basée sur les faits en intégrant une récompense de factualité, basée sur la vérification des connaissances, dans le processus de formation RL, les aidant à reconnaître leurs limites de connaissances. Cet apport factuel ciblé pendant la formation RL permet au modèle d'apprendre et d'intérioriser des stratégies de raisonnement basées sur les faits. En récompensant directement l'adhésion aux faits dans les étapes de raisonnement, KnowRL favorise un processus de pensée plus fiable. Les résultats expérimentaux sur trois ensembles de données d'évaluation des hallucinations et deux ensembles de données d'évaluation du raisonnement démontrent que KnowRL atténue efficacement les hallucinations dans les modèles à pensée lente tout en maintenant leurs fortes capacités de raisonnement d'origine. Notre code est disponible à l'adresse https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.