Pas de solution universelle : QueryBandits pour l'atténuation des hallucinations
No One Size Fits All: QueryBandits for Hallucination Mitigation
February 23, 2026
Auteurs: Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso
cs.AI
Résumé
Les capacités de raisonnement avancées des grands modèles de langage (LLM) ont accru la fréquence des hallucinations, mais la plupart des travaux d'atténuation se concentrent sur les modèles open-source pour la détection a posteriori et l'édition de paramètres. La rareté des études sur les hallucinations dans les modèles fermés est particulièrement préoccupante, car ceux-ci constituent la grande majorité des modèles déployés en milieu institutionnel. Nous présentons QueryBandits, un cadre de bandits contextuels indépendant du modèle qui apprend adaptativement en ligne à sélectionner la stratégie optimale de reformulation des requêtes en exploitant une fonction de récompense empiriquement validée et calibrée. Sur 16 scénarios de question-réponse, notre meilleur QueryBandit (échantillonnage de Thompson) atteint un taux de succès de 87,5 % par rapport à une baseline sans reformulation et surpasse les politiques statiques zero-shot (par exemple Paraphrase ou Expand) de 42,6 % et 60,3 % respectivement. De plus, tous les bandits contextuels surpassent les bandits classiques sur tous les jeux de données, une variance caractéristique plus élevée coïncidant avec une plus grande variance dans la sélection des bras. Cela conforte notre conclusion qu'aucune politique de reformulation unique n'est optimale pour toutes les requêtes. Nous découvrons également que certaines politiques statiques génèrent un regret cumulatif supérieur au scénario sans reformulation, indiquant qu'une politique de reformulation rigide peut aggraver les hallucinations. Ainsi, l'apprentissage d'une politique en ligne sur des caractéristiques sémantiques avec QueryBandits peut modifier le comportement du modèle uniquement par des mécanismes de passe avant, permettant son utilisation avec des modèles fermés et contournant le besoin de réentraînement ou d'adaptation par gradient.
English
Advanced reasoning capabilities in Large Language Models (LLMs) have led to more frequent hallucinations; yet most mitigation work focuses on open-source models for post-hoc detection and parameter editing. The dearth of studies focusing on hallucinations in closed-source models is especially concerning, as they constitute the vast majority of models in institutional deployments. We introduce QueryBandits, a model-agnostic contextual bandit framework that adaptively learns online to select the optimal query-rewrite strategy by leveraging an empirically validated and calibrated reward function. Across 16 QA scenarios, our top QueryBandit (Thompson Sampling) achieves an 87.5% win rate over a No-Rewrite baseline and outperforms zero-shot static policies (e.g., Paraphrase or Expand) by 42.6% and 60.3%, respectively. Moreover, all contextual bandits outperform vanilla bandits across all datasets, with higher feature variance coinciding with greater variance in arm selection. This substantiates our finding that there is no single rewrite policy optimal for all queries. We also discover that certain static policies incur higher cumulative regret than No-Rewrite, indicating that an inflexible query-rewriting policy can worsen hallucinations. Thus, learning an online policy over semantic features with QueryBandits can shift model behavior purely through forward-pass mechanisms, enabling its use with closed-source models and bypassing the need for retraining or gradient-based adaptation.