KnowRL: Explorando o Aprendizado por Reforço Baseado em Conhecimento para Factualidade

KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality

June 24, 2025

Autores: Baochang Ren, Shuofei Qiao, Wenhao Yu, Huajun Chen, Ningyu Zhang

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs), particularmente modelos de pensamento lento, frequentemente exibem alucinações severas, gerando conteúdo incorreto devido à incapacidade de reconhecer com precisão os limites do conhecimento durante o raciocínio. Embora o Aprendizado por Reforço (RL) possa aprimorar as habilidades de raciocínio complexo, seu mecanismo de recompensa orientado a resultados frequentemente carece de supervisão factual sobre o processo de pensamento, exacerbando ainda mais o problema de alucinação. Para abordar a alta incidência de alucinações em modelos de pensamento lento, propomos o RL Aprimorado por Conhecimento, KnowRL. O KnowRL orienta os modelos a realizar pensamento lento baseado em fatos, integrando uma recompensa de factualidade, baseada na verificação de conhecimento, no processo de treinamento de RL, ajudando-os a reconhecer seus limites de conhecimento. Esse input factual direcionado durante o treinamento de RL permite que o modelo aprenda e internalize estratégias de raciocínio baseadas em fatos. Ao recompensar diretamente a adesão aos fatos dentro das etapas de raciocínio, o KnowRL promove um processo de pensamento mais confiável. Resultados experimentais em três conjuntos de dados de avaliação de alucinação e dois conjuntos de dados de avaliação de raciocínio demonstram que o KnowRL mitiga efetivamente as alucinações em modelos de pensamento lento, mantendo suas capacidades originais de raciocínio robusto. Nosso código está disponível em https://github.com/zjunlp/KnowRL.

English

Large Language Models (LLMs), particularly slow-thinking models, often exhibit severe hallucination, outputting incorrect content due to an inability to accurately recognize knowledge boundaries during reasoning. While Reinforcement Learning (RL) can enhance complex reasoning abilities, its outcome-oriented reward mechanism often lacks factual supervision over the thinking process, further exacerbating the hallucination problem. To address the high hallucination in slow-thinking models, we propose Knowledge-enhanced RL, KnowRL. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. KnowRL guides models to perform fact-based slow thinking by integrating a factuality reward, based on knowledge verification, into the RL training process, helping them recognize their knowledge boundaries. This targeted factual input during RL training enables the model to learn and internalize fact-based reasoning strategies. By directly rewarding adherence to facts within the reasoning steps, KnowRL fosters a more reliable thinking process. Experimental results on three hallucination evaluation datasets and two reasoning evaluation datasets demonstrate that KnowRL effectively mitigates hallucinations in slow-thinking models while maintaining their original strong reasoning capabilities. Our code is available at https://github.com/zjunlp/KnowRL.