HalluHard: Un Benchmark Riguroso de Alucinaciones en Conversaciones Multiturno

HalluHard: A Hard Multi-Turn Hallucination Benchmark

February 1, 2026

Autores: Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Resumen

Los modelos de lenguaje grande (LLM) aún producen afirmaciones fácticas que suenan plausibles pero carecen de base, un problema que se agrava en el diálogo multiturno a medida que el contexto crece y los errores iniciales se propagan. Presentamos HalluHard, un punto de referencia exigente para evaluar alucinaciones en conversaciones multiturno, que consta de 950 preguntas semilla que abarcan cuatro dominios de alto impacto: casos legales, preguntas de investigación, pautas médicas y programación. Operacionalizamos la fundamentación exigiendo citas en línea para las afirmaciones fácticas. Para apoyar una evaluación fiable en entornos de respuesta abierta, proponemos un sistema de evaluación que recupera evidencia de forma iterativa mediante búsqueda web. Este sistema puede recuperar, filtrar y analizar fuentes de texto completo (incluidos PDFs) para determinar si el material citado respalda realmente el contenido generado. En un conjunto diverso de modelos propietarios de vanguardia y modelos de pesos abiertos, las alucinaciones siguen siendo sustanciales incluso con búsqueda web (aproximadamente 30% para la configuración más sólida, Opus-4.5 con búsqueda web), y los errores de vinculación entre contenido y base factual persisten en tasas elevadas. Finalmente, demostramos que el comportamiento de las alucinaciones está influenciado por la capacidad del modelo, la posición en el turno de conversación, el razonamiento efectivo y el tipo de conocimiento requerido.

English

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce HalluHard, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search (approx 30% for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.