ObfusQAte : Un cadre proposé pour évaluer la robustesse des LLM sur la réponse à des questions factuelles obfusquées

ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering

August 10, 2025

papers.authors: Shubhra Ghosh, Abhilekh Borah, Aditya Kumar Guru, Kripabandhu Ghosh

cs.AI

papers.abstract

La prolifération rapide des modèles de langage à grande échelle (LLMs) a significativement contribué au développement de systèmes d'IA équitables capables de répondre à des questions factuelles (QA). Cependant, aucune étude connue ne teste la robustesse des LLMs lorsqu'ils sont confrontés à des versions obscurcies de questions. Pour évaluer systématiquement ces limites, nous proposons une nouvelle technique, ObfusQAte, et, en nous appuyant sur celle-ci, introduisons ObfusQA, un cadre complet et inédit avec des niveaux d'obscurcissement multi-niveaux conçu pour examiner les capacités des LLMs à travers trois dimensions distinctes : (i) l'indirection des entités nommées, (ii) l'indirection des distracteurs, et (iii) la surcharge contextuelle. En capturant ces distinctions fines dans le langage, ObfusQA fournit un benchmark complet pour évaluer la robustesse et l'adaptabilité des LLMs. Notre étude observe que les LLMs ont tendance à échouer ou à générer des réponses hallucinées lorsqu'ils sont confrontés à ces variations de plus en plus nuancées. Pour encourager la recherche dans cette direction, nous rendons ObfusQAte accessible au public.

English

The rapid proliferation of Large Language Models (LLMs) has significantly contributed to the development of equitable AI systems capable of factual question-answering (QA). However, no known study tests the LLMs' robustness when presented with obfuscated versions of questions. To systematically evaluate these limitations, we propose a novel technique, ObfusQAte and, leveraging the same, introduce ObfusQA, a comprehensive, first of its kind, framework with multi-tiered obfuscation levels designed to examine LLM capabilities across three distinct dimensions: (i) Named-Entity Indirection, (ii) Distractor Indirection, and (iii) Contextual Overload. By capturing these fine-grained distinctions in language, ObfusQA provides a comprehensive benchmark for evaluating LLM robustness and adaptability. Our study observes that LLMs exhibit a tendency to fail or generate hallucinated responses when confronted with these increasingly nuanced variations. To foster research in this direction, we make ObfusQAte publicly available.