Er is geen universele oplossing: QueryBandits voor het beperken van hallucinaties.
No One Size Fits All: QueryBandits for Hallucination Mitigation
February 23, 2026
Auteurs: Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso
cs.AI
Samenvatting
De geavanceerde redeneervermogens van grote taalmmodellen (LLM's) hebben geleid tot frequentere hallucinaties; toch richt het meeste mitigatiewerk zich op open-source modellen voor post-hoc detectie en parameterbewerking. Het gebrek aan studies die zich richten op hallucinaties in closed-source modellen is bijzonder zorgwekkend, aangezien deze de overgrote meerderheid van modellen in institutionele implementaties uitmaken. Wij introduceren QueryBandits, een model-agnostisch contextueel bandit-framework dat adaptief online leert om de optimale query-herschrijfstrategie te selecteren door gebruik te maken van een empirisch gevalideerde en gekalibreerde beloningsfunctie. Over 16 vraag-antwoordscenario's behaalt onze beste QueryBandit (Thompson Sampling) een winstpercentage van 87,5% ten opzichte van een No-Rewrite-basislijn en overtreft het zero-shot statische beleid (bijvoorbeeld Parafraseren of Uitbreiden) met respectievelijk 42,6% en 60,3%. Bovendien presteren alle contextuele bandits beter dan gewone bandits over alle datasets, waarbij een hogere feature-variantie samenhangt met een grotere variantie in armselectie. Dit bevestigt onze bevinding dat er geen enkele herschrijfpolicy optimaal is voor alle queries. We ontdekken ook dat bepaalde statische policies een hogere cumulatieve spijt opleveren dan No-Rewrite, wat aangeeft dat een inflexibel query-herschrijfbeleid hallucinaties kan verergeren. Het leren van een online policy over semantische features met QueryBandits kan het modelgedrag dus puur via forward-pass mechanismen verschuiven, waardoor het gebruik met closed-source modellen mogelijk wordt en de noodzaak voor hertraining of gradient-gebaseerde aanpassing wordt omzeild.
English
Advanced reasoning capabilities in Large Language Models (LLMs) have led to more frequent hallucinations; yet most mitigation work focuses on open-source models for post-hoc detection and parameter editing. The dearth of studies focusing on hallucinations in closed-source models is especially concerning, as they constitute the vast majority of models in institutional deployments. We introduce QueryBandits, a model-agnostic contextual bandit framework that adaptively learns online to select the optimal query-rewrite strategy by leveraging an empirically validated and calibrated reward function. Across 16 QA scenarios, our top QueryBandit (Thompson Sampling) achieves an 87.5% win rate over a No-Rewrite baseline and outperforms zero-shot static policies (e.g., Paraphrase or Expand) by 42.6% and 60.3%, respectively. Moreover, all contextual bandits outperform vanilla bandits across all datasets, with higher feature variance coinciding with greater variance in arm selection. This substantiates our finding that there is no single rewrite policy optimal for all queries. We also discover that certain static policies incur higher cumulative regret than No-Rewrite, indicating that an inflexible query-rewriting policy can worsen hallucinations. Thus, learning an online policy over semantic features with QueryBandits can shift model behavior purely through forward-pass mechanisms, enabling its use with closed-source models and bypassing the need for retraining or gradient-based adaptation.