KnowRL: Esplorare l'Apprendimento per Rinforzo Basato sulla Conoscenza per la Fattualità

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Autori: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM), in particolare i modelli a pensiero lento, spesso manifestano gravi allucinazioni, producendo contenuti errati a causa dell'incapacità di riconoscere con precisione i confini della conoscenza durante il ragionamento. Sebbene l'apprendimento per rinforzo (RL) possa potenziare le capacità di ragionamento complesso, il suo meccanismo di ricompensa orientato ai risultati spesso manca di supervisione fattuale sul processo di pensiero, aggravando ulteriormente il problema delle allucinazioni. Per affrontare l'elevata incidenza di allucinazioni nei modelli a pensiero lento, proponiamo l'apprendimento per rinforzo potenziato dalla conoscenza, KnowRL. KnowRL guida i modelli a eseguire un pensiero lento basato sui fatti integrando una ricompensa di fattualità, basata sulla verifica della conoscenza, nel processo di addestramento RL, aiutandoli a riconoscere i propri confini di conoscenza. Questo input fattuale mirato durante l'addestramento RL consente al modello di apprendere e interiorizzare strategie di ragionamento basate sui fatti. Ricompensando direttamente l'aderenza ai fatti all'interno dei passaggi di ragionamento, KnowRL promuove un processo di pensiero più affidabile. I risultati sperimentali su tre dataset di valutazione delle allucinazioni e due dataset di valutazione del ragionamento dimostrano che KnowRL mitiga efficacemente le allucinazioni nei modelli a pensiero lento mantenendo le loro originarie forti capacità di ragionamento. Il nostro codice è disponibile all'indirizzo https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.