HalluHard: un benchmark rigoroso sulle allucinazioni nei dialoghi multi-turn

HalluHard: A Hard Multi-Turn Hallucination Benchmark

February 1, 2026

Autori: Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Abstract

I grandi modelli linguistici (LLM) continuano a produrre affermazioni fattuali che sembrano plausibili ma sono prive di fondamento, un problema che peggiora nel dialogo a più turni man mano che il contesto cresce e gli errori iniziali si propagano. Presentiamo HalluHard, un benchmark impegnativo per l'allucinazione in dialoghi multi-turno, composto da 950 domande iniziali che abbracciano quattro domini ad alto rischio: casi legali, questioni di ricerca, linee guida mediche e programmazione. Operazionalizziamo il concetto di fondatezza richiedendo citazioni in linea per le asserzioni fattuali. Per supportare una valutazione affidabile in contesti aperti, proponiamo una pipeline di giudizio che recupera iterativamente prove tramite ricerca web. Essa può recuperare, filtrare e analizzare fonti a testo pieno (inclusi i PDF) per valutare se il materiale citato supporti effettivamente il contenuto generato. Su un insieme diversificato di modelli all'avanguardia, sia proprietari che open-weight, le allucinazioni rimangono sostanziali anche con la ricerca web (circa 30% per la configurazione più forte, Opus-4.5 con ricerca web), con errori di ancoraggio al contenuto che persistono a tassi elevati. Infine, dimostriamo che il comportamento di allucinazione è influenzato dalla capacità del modello, dalla posizione nel turno, dal ragionamento effettivo e dal tipo di conoscenza richiesta.

English

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce HalluHard, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search (approx 30% for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.