ObfusQAte: Un Marco Propuesto para Evaluar la Robustez de los Modelos de Lenguaje en la Respuesta a Preguntas Factuales Ofuscadas
ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering
August 10, 2025
Autores: Shubhra Ghosh, Abhilekh Borah, Aditya Kumar Guru, Kripabandhu Ghosh
cs.AI
Resumen
La rápida proliferación de los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) ha contribuido significativamente al desarrollo de sistemas de IA equitativos capaces de responder preguntas factuales (QA, por sus siglas en inglés). Sin embargo, no se conoce ningún estudio que evalúe la robustez de los LLMs cuando se les presentan versiones ofuscadas de preguntas. Para evaluar sistemáticamente estas limitaciones, proponemos una técnica novedosa, ObfusQAte, y, aprovechando la misma, introducimos ObfusQA, un marco integral, el primero en su tipo, con niveles de ofuscación de múltiples capas diseñado para examinar las capacidades de los LLMs en tres dimensiones distintas: (i) Indirección de Entidades Nombradas, (ii) Indirección de Distractores y (iii) Sobrecarga Contextual. Al capturar estas distinciones detalladas en el lenguaje, ObfusQA proporciona un punto de referencia exhaustivo para evaluar la robustez y adaptabilidad de los LLMs. Nuestro estudio observa que los LLMs tienden a fallar o generar respuestas alucinadas cuando se enfrentan a estas variaciones cada vez más matizadas. Para fomentar la investigación en esta dirección, ponemos ObfusQAte a disposición del público.
English
The rapid proliferation of Large Language Models (LLMs) has significantly
contributed to the development of equitable AI systems capable of factual
question-answering (QA). However, no known study tests the LLMs' robustness
when presented with obfuscated versions of questions. To systematically
evaluate these limitations, we propose a novel technique, ObfusQAte and,
leveraging the same, introduce ObfusQA, a comprehensive, first of its kind,
framework with multi-tiered obfuscation levels designed to examine LLM
capabilities across three distinct dimensions: (i) Named-Entity Indirection,
(ii) Distractor Indirection, and (iii) Contextual Overload. By capturing these
fine-grained distinctions in language, ObfusQA provides a comprehensive
benchmark for evaluating LLM robustness and adaptability. Our study observes
that LLMs exhibit a tendency to fail or generate hallucinated responses when
confronted with these increasingly nuanced variations. To foster research in
this direction, we make ObfusQAte publicly available.