ObfusQAte: Предлагаемая структура для оценки устойчивости языковых моделей к зашифрованным вопросам на фактологическую проверку
ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering
August 10, 2025
Авторы: Shubhra Ghosh, Abhilekh Borah, Aditya Kumar Guru, Kripabandhu Ghosh
cs.AI
Аннотация
Быстрое распространение крупных языковых моделей (LLM) значительно способствовало развитию справедливых систем искусственного интеллекта, способных отвечать на фактические вопросы (QA). Однако ни одно известное исследование не проверяет устойчивость LLM при работе с замаскированными версиями вопросов. Для систематической оценки этих ограничений мы предлагаем новую методику, ObfusQAte, и, используя её, представляем ObfusQA — первую в своём роде комплексную структуру с многоуровневыми уровнями маскировки, предназначенную для изучения возможностей LLM в трёх различных аспектах: (i) косвенное упоминание именованных сущностей, (ii) косвенное введение отвлекающих элементов и (iii) контекстуальная перегрузка. Улавливая эти тонкие различия в языке, ObfusQA предоставляет всеобъемлющий эталон для оценки устойчивости и адаптивности LLM. Наше исследование показывает, что LLM склонны давать сбои или генерировать вымышленные ответы при столкновении с этими всё более сложными вариациями. Для стимулирования исследований в этом направлении мы делаем ObfusQAte общедоступным.
English
The rapid proliferation of Large Language Models (LLMs) has significantly
contributed to the development of equitable AI systems capable of factual
question-answering (QA). However, no known study tests the LLMs' robustness
when presented with obfuscated versions of questions. To systematically
evaluate these limitations, we propose a novel technique, ObfusQAte and,
leveraging the same, introduce ObfusQA, a comprehensive, first of its kind,
framework with multi-tiered obfuscation levels designed to examine LLM
capabilities across three distinct dimensions: (i) Named-Entity Indirection,
(ii) Distractor Indirection, and (iii) Contextual Overload. By capturing these
fine-grained distinctions in language, ObfusQA provides a comprehensive
benchmark for evaluating LLM robustness and adaptability. Our study observes
that LLMs exhibit a tendency to fail or generate hallucinated responses when
confronted with these increasingly nuanced variations. To foster research in
this direction, we make ObfusQAte publicly available.