Keine Universallösung: QueryBandits zur Reduzierung von Halluzinationen
No One Size Fits All: QueryBandits for Hallucination Mitigation
February 23, 2026
Autoren: Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso
cs.AI
Zusammenfassung
Fortgeschrittene Reasoning-Fähigkeiten in großen Sprachmodellen (LLMs) führen zu häufigeren Halluzinationen; dennoch konzentriert sich die meiste Gegenmaßnahmen-Forschung auf Open-Source-Modelle zur nachträglichen Erkennung und Parameterbearbeitung. Der Mangel an Studien zu Halluzinationen in Closed-Source-Modellen ist besonders besorgniserregend, da diese die überwiegende Mehrheit der Modelle in institutionellen Einsätzen ausmachen. Wir stellen QueryBandits vor, ein modellagnostisches Contextual-Bandit-Framework, das online adaptiv lernt, die optimale Query-Rewrite-Strategie auszuwählen, indem es eine empirisch validierte und kalibrierte Belohnungsfunktion nutzt. In 16 QA-Szenarien erreicht unser bestes QueryBandit (Thompson Sampling) eine Gewinnrate von 87,5 % gegenüber einer No-Rewrite-Baseline und übertrifft Zero-Shot-statische Strategien (z. B. Paraphrase oder Expand) um 42,6 % bzw. 60,3 %. Darüber hinaus schneiden alle Contextual Bandits in allen Datensätzen besser ab als einfache Bandits, wobei eine höhere Feature-Varianz mit einer größeren Varianz in der Arm-Auswahl einhergeht. Dies untermauert unsere Erkenntnis, dass es keine einzelne Rewrite-Strategie gibt, die für alle Abfragen optimal ist. Wir stellen auch fest, dass bestimmte statische Strategien einen höheren kumulativen Regret verursachen als No-Rewrite, was darauf hindeutet, dass eine unflexible Query-Rewriting-Strategie Halluzinationen verschlimmern kann. Daher kann das Erlernen einer Online-Strategie über semantische Features mit QueryBandits das Modellverhalten allein durch Forward-Pass-Mechanismen verändern, was die Verwendung mit Closed-Source-Modellen ermöglicht und den Bedarf an Neutraining oder gradientenbasierter Anpassung umgeht.
English
Advanced reasoning capabilities in Large Language Models (LLMs) have led to more frequent hallucinations; yet most mitigation work focuses on open-source models for post-hoc detection and parameter editing. The dearth of studies focusing on hallucinations in closed-source models is especially concerning, as they constitute the vast majority of models in institutional deployments. We introduce QueryBandits, a model-agnostic contextual bandit framework that adaptively learns online to select the optimal query-rewrite strategy by leveraging an empirically validated and calibrated reward function. Across 16 QA scenarios, our top QueryBandit (Thompson Sampling) achieves an 87.5% win rate over a No-Rewrite baseline and outperforms zero-shot static policies (e.g., Paraphrase or Expand) by 42.6% and 60.3%, respectively. Moreover, all contextual bandits outperform vanilla bandits across all datasets, with higher feature variance coinciding with greater variance in arm selection. This substantiates our finding that there is no single rewrite policy optimal for all queries. We also discover that certain static policies incur higher cumulative regret than No-Rewrite, indicating that an inflexible query-rewriting policy can worsen hallucinations. Thus, learning an online policy over semantic features with QueryBandits can shift model behavior purely through forward-pass mechanisms, enabling its use with closed-source models and bypassing the need for retraining or gradient-based adaptation.