HalluHard : Un benchmark rigoureux sur les hallucinations en conversations multi-tours

HalluHard: A Hard Multi-Turn Hallucination Benchmark

February 1, 2026

papers.authors: Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

papers.abstract

Les grands modèles de langage (LLM) continuent de produire des affirmations factuelles plausibles mais non fondées, un problème qui s'aggrave dans les dialogues multi-tours à mesure que le contexte s'étend et que les erreurs initiales s'accumulent. Nous présentons HalluHard, un benchmark exigeant sur les hallucinations en dialogue multi-tours, comprenant 950 questions de base couvrant quatre domaines à enjeux élevés : les affaires juridiques, les questions de recherche, les directives médicales et la programmation. Nous opérationnalisons l'ancrage factuel en exigeant des citations intégrées pour toute assertion factuelle. Pour permettre une évaluation fiable dans des contextes ouverts, nous proposons un pipeline d'évaluation qui récupère itérativement des preuves via une recherche web. Ce système peut extraire, filtrer et analyser des sources en texte intégral (y compris les PDF) pour déterminer si le matériel cité étaye réellement le contenu généré. Sur un ensemble varié de modèles propriétaires de pointe et à poids ouvert, les hallucinations restent substantielles même avec une recherche web (environ 30 % pour la configuration la plus robuste, Opus-4.5 avec recherche web), les erreurs de rattachement du contenu persistant à des taux élevés. Enfin, nous montrons que le comportement hallucinatoire est influencé par la capacité du modèle, la position dans le tour de dialogue, le raisonnement effectif et le type de connaissances requises.

English

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce HalluHard, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search (approx 30% for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.