Ik denk, dus ik ben ondergekwalificeerd? Een benchmark voor het evalueren van linguïstische shibboleth-detectie in LLM-wervingsbeoordelingen

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

August 6, 2025

Auteurs: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Samenvatting

Dit artikel introduceert een uitgebreide benchmark voor het evalueren van hoe grote taalmmodellen (LLMs) reageren op linguïstische sjibbolets: subtiele linguïstische markers die onbedoeld demografische kenmerken zoals geslacht, sociale klasse of regionale achtergrond kunnen onthullen. Door middel van zorgvuldig geconstrueerde interviewsimulaties met 100 gevalideerde vraag-antwoordparen demonstreren we hoe LLMs systematisch bepaalde linguïstische patronen benadelen, met name terughoudende taal, ondanks equivalente inhoudskwaliteit. Onze benchmark genereert gecontroleerde linguïstische variaties die specifieke fenomenen isoleren terwijl semantische equivalentie behouden blijft, wat een precieze meting van demografische bias in geautomatiseerde evaluatiesystemen mogelijk maakt. We valideren onze aanpak langs meerdere linguïstische dimensies, waarbij we aantonen dat terughoudende antwoorden gemiddeld 25,6% lagere beoordelingen ontvangen, en demonstreren de effectiviteit van de benchmark in het identificeren van modelspecifieke biases. Dit werk legt een fundamenteel raamwerk vast voor het detecteren en meten van linguïstische discriminatie in AI-systemen, met brede toepassingen voor eerlijkheid in geautomatiseerde besluitvormingscontexten.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.