ObfusQAte: Un Framework Proposto per Valutare la Robustezza degli LLM nel Rispondere a Domande Fattuali Offuscate

ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering

August 10, 2025

Autori: Shubhra Ghosh, Abhilekh Borah, Aditya Kumar Guru, Kripabandhu Ghosh

cs.AI

Abstract

La rapida proliferazione dei Large Language Models (LLM) ha contribuito in modo significativo allo sviluppo di sistemi di intelligenza artificiale equi, capaci di rispondere a domande fattuali (QA). Tuttavia, nessuno studio noto testa la robustezza dei LLM quando vengono presentate versioni offuscate delle domande. Per valutare sistematicamente queste limitazioni, proponiamo una nuova tecnica, ObfusQAte, e, sfruttando la stessa, introduciamo ObfusQA, un framework completo e innovativo con livelli di offuscamento multilivello progettato per esaminare le capacità dei LLM attraverso tre dimensioni distinte: (i) Indirezione delle Entità Nominate, (ii) Indirezione dei Distrattori e (iii) Sovraccarico Contestuale. Catturando queste distinzioni linguistiche fini, ObfusQA fornisce un benchmark completo per valutare la robustezza e l'adattabilità dei LLM. Il nostro studio osserva che i LLM tendono a fallire o a generare risposte allucinate quando si confrontano con queste variazioni sempre più sfumate. Per promuovere la ricerca in questa direzione, rendiamo ObfusQAte disponibile pubblicamente.

English

The rapid proliferation of Large Language Models (LLMs) has significantly contributed to the development of equitable AI systems capable of factual question-answering (QA). However, no known study tests the LLMs' robustness when presented with obfuscated versions of questions. To systematically evaluate these limitations, we propose a novel technique, ObfusQAte and, leveraging the same, introduce ObfusQA, a comprehensive, first of its kind, framework with multi-tiered obfuscation levels designed to examine LLM capabilities across three distinct dimensions: (i) Named-Entity Indirection, (ii) Distractor Indirection, and (iii) Contextual Overload. By capturing these fine-grained distinctions in language, ObfusQA provides a comprehensive benchmark for evaluating LLM robustness and adaptability. Our study observes that LLMs exhibit a tendency to fail or generate hallucinated responses when confronted with these increasingly nuanced variations. To foster research in this direction, we make ObfusQAte publicly available.