Я мыслю, значит, я недостаточно квалифицирован? Бенчмарк для оценки обнаружения лингвистических шибболетов в проверках при найме с использованием языковых моделей

Аннотация

В данной статье представлен комплексный эталон для оценки того, как крупные языковые модели (LLM) реагируют на лингвистические шибболеты — тонкие языковые маркеры, которые могут непреднамеренно раскрывать демографические атрибуты, такие как пол, социальный класс или региональная принадлежность. С помощью тщательно разработанных симуляций интервью, включающих 100 проверенных пар вопросов и ответов, мы демонстрируем, как LLM систематически наказывают определенные языковые паттерны, в частности, использование смягчающих выражений, несмотря на эквивалентное качество содержания. Наш эталон создает контролируемые лингвистические вариации, которые изолируют конкретные явления при сохранении семантической эквивалентности, что позволяет точно измерять демографическую предвзятость в автоматизированных системах оценки. Мы проверяем наш подход по нескольким лингвистическим измерениям, показывая, что ответы с использованием смягчающих выражений получают в среднем на 25,6% более низкие оценки, и демонстрируем эффективность эталона в выявлении специфических для модели предубеждений. Эта работа закладывает основу для обнаружения и измерения лингвистической дискриминации в системах ИИ, что имеет широкое применение для обеспечения справедливости в контекстах автоматизированного принятия решений.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

Аннотация

Support