La Taxe d'Hallucination du Réglage Fin par Renforcement

The Hallucination Tax of Reinforcement Finetuning

May 20, 2025

Auteurs: Linxin Song, Taiwei Shi, Jieyu Zhao

cs.AI

Résumé

Le réglage fin par renforcement (RFT) est devenu une approche standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, son impact sur la fiabilité des modèles reste peu exploré. Dans ce travail, nous identifions et étudions systématiquement un effet secondaire critique du RFT, que nous appelons la taxe d'hallucination : une dégradation du comportement de refus, conduisant les modèles à produire des réponses hallucinées à des questions insolubles avec assurance. Pour étudier ce phénomène, nous introduisons SUM (Synthetic Unanswerable Math), un ensemble de données de haute qualité composé de problèmes mathématiques insolubles, conçu pour évaluer la capacité des modèles à reconnaître une question insoluble en raisonnant à partir d'informations insuffisantes ou ambiguës. Nos résultats montrent que l'entraînement standard par RFT pourrait réduire les taux de refus des modèles de plus de 80 %, augmentant ainsi significativement leur tendance à halluciner. Nous démontrons en outre qu'incorporer seulement 10 % de SUM pendant le RFT restaure substantiellement un comportement de refus approprié, avec des compromis minimes sur la précision des tâches solubles. De manière cruciale, cette approche permet aux LLM d'utiliser les ressources de calcul au moment de l'inférence pour raisonner sur leur propre incertitude et les limites de leurs connaissances, améliorant ainsi la généralisation non seulement pour les problèmes mathématiques hors domaine, mais aussi pour les tâches de réponse à des questions factuelles.

English

Reinforcement finetuning (RFT) has become a standard approach for enhancing the reasoning capabilities of large language models (LLMs). However, its impact on model trustworthiness remains underexplored. In this work, we identify and systematically study a critical side effect of RFT, which we term the hallucination tax: a degradation in refusal behavior causing models to produce hallucinated answers to unanswerable questions confidently. To investigate this, we introduce SUM (Synthetic Unanswerable Math), a high-quality dataset of unanswerable math problems designed to probe models' ability to recognize an unanswerable question by reasoning from the insufficient or ambiguous information. Our results show that standard RFT training could reduce model refusal rates by more than 80%, which significantly increases model's tendency to hallucinate. We further demonstrate that incorporating just 10% SUM during RFT substantially restores appropriate refusal behavior, with minimal accuracy trade-offs on solvable tasks. Crucially, this approach enables LLMs to leverage inference-time compute to reason about their own uncertainty and knowledge boundaries, improving generalization not only to out-of-domain math problems but also to factual question answering tasks.