ObfusQAte: Een Voorgesteld Framework om de Robuustheid van LLM's te Evalueren bij Beantwoorden van Gecamoufleerde Feitelijke Vragen

ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering

August 10, 2025

Auteurs: Shubhra Ghosh, Abhilekh Borah, Aditya Kumar Guru, Kripabandhu Ghosh

cs.AI

Samenvatting

De snelle opkomst van Large Language Models (LLM's) heeft aanzienlijk bijgedragen aan de ontwikkeling van eerlijke AI-systemen die in staat zijn tot feitelijke vraag-antwoordtaken (QA). Er is echter geen bekende studie die de robuustheid van LLM's test wanneer ze worden geconfronteerd met versluierde versies van vragen. Om deze beperkingen systematisch te evalueren, stellen we een nieuwe techniek voor, ObfusQAte, en introduceren we, gebruikmakend van deze techniek, ObfusQA, een uitgebreid, voor het eerst in zijn soort, raamwerk met meerdere niveaus van versluiering, ontworpen om de mogelijkheden van LLM's te onderzoeken op drie verschillende dimensies: (i) Indirectie van benoemde entiteiten, (ii) Indirectie van afleiders, en (iii) Contextuele overbelasting. Door deze fijnmazige onderscheidingen in taal vast te leggen, biedt ObfusQA een uitgebreide benchmark voor het evalueren van de robuustheid en aanpassingsvermogen van LLM's. Uit onze studie blijkt dat LLM's de neiging hebben om te falen of hallucinerende antwoorden te genereren wanneer ze worden geconfronteerd met deze steeds genuanceerdere variaties. Om onderzoek in deze richting te stimuleren, stellen we ObfusQAte publiekelijk beschikbaar.

English

The rapid proliferation of Large Language Models (LLMs) has significantly contributed to the development of equitable AI systems capable of factual question-answering (QA). However, no known study tests the LLMs' robustness when presented with obfuscated versions of questions. To systematically evaluate these limitations, we propose a novel technique, ObfusQAte and, leveraging the same, introduce ObfusQA, a comprehensive, first of its kind, framework with multi-tiered obfuscation levels designed to examine LLM capabilities across three distinct dimensions: (i) Named-Entity Indirection, (ii) Distractor Indirection, and (iii) Contextual Overload. By capturing these fine-grained distinctions in language, ObfusQA provides a comprehensive benchmark for evaluating LLM robustness and adaptability. Our study observes that LLMs exhibit a tendency to fail or generate hallucinated responses when confronted with these increasingly nuanced variations. To foster research in this direction, we make ObfusQAte publicly available.