HalluHard: Ein anspruchsvoller Benchmark für Mehrschritt-Halluzinationen

papers.abstract

Große Sprachmodelle (LLMs) produzieren weiterhin plausibel klingende, aber faktisch unbegründete Aussagen – ein Problem, das sich im Mehrfachdialog verschärft, wenn der Kontext wächst und frühe Fehler kaskadieren. Wir stellen HalluHard vor, einen anspruchsvollen Benchmark für Mehrfachhalluzinationen mit 950 Ausgangsfragen aus vier hochriskanten Domänen: Rechtsfälle, Forschungsfragen, medizinische Leitlinien und Programmierung. Wir operationalisieren Begründetheit durch die Forderung nach Inline-Zitaten für faktische Behauptungen. Zur Unterstützung einer zuverlässigen Bewertung in offenen Settings schlagen wir eine Bewertungspipeline vor, die iterativ Evidenz mittels Websuche abruft. Sie kann Volltextquellen (einschließlich PDFs) abrufen, filtern und parsen, um zu beurteilen, ob das zitierte Material die generierten Inhalte tatsächlich stützt. Über eine diverse Gruppe von proprietären und Open-Weight-Spitzenmodellen hinweg bleiben Halluzinationen selbst mit Websuche erheblich (ca. 30% für die stärkste Konfiguration, Opus-4.5 mit Websuche), wobei Fehler in der Inhaltsbegründung weiterhin häufig auftreten. Abschließend zeigen wir, dass das Halluzinationsverhalten durch Modellkapazität, Position im Dialogverlauf, effektives Schlussfolgern und die Art des erforderlichen Wissens beeinflusst wird.

English

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce HalluHard, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search (approx 30% for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.

HalluHard: Ein anspruchsvoller Benchmark für Mehrschritt-Halluzinationen

HalluHard: A Hard Multi-Turn Hallucination Benchmark

papers.abstract

Support