Ich denke, also bin ich unterqualifiziert? Ein Benchmark zur Bewertung der Erkennung linguistischer Shibboleths in Einstellungsverfahren mit LLMs

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

August 6, 2025

papers.authors: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

papers.abstract

Dieses Papier stellt einen umfassenden Benchmark zur Bewertung der Reaktionen von Large Language Models (LLMs) auf linguistische Shibboleths vor: subtile sprachliche Marker, die unbeabsichtigt demografische Attribute wie Geschlecht, soziale Klasse oder regionale Herkunft offenbaren können. Durch sorgfältig konstruierte Interview-Simulationen mit 100 validierten Frage-Antwort-Paaren zeigen wir, wie LLMs bestimmte sprachliche Muster, insbesondere abschwächende Sprache, systematisch benachteiligen, obwohl die inhaltliche Qualität gleichwertig ist. Unser Benchmark erzeugt kontrollierte linguistische Variationen, die spezifische Phänomene isolieren, während die semantische Äquivalenz erhalten bleibt, was eine präzise Messung demografischer Verzerrungen in automatisierten Bewertungssystemen ermöglicht. Wir validieren unseren Ansatz entlang mehrerer linguistischer Dimensionen und zeigen, dass abgeschwächte Antworten durchschnittlich 25,6 % niedriger bewertet werden. Zudem demonstrieren wir die Effektivität des Benchmarks bei der Identifizierung modellspezifischer Verzerrungen. Diese Arbeit etabliert einen grundlegenden Rahmen zur Erkennung und Messung linguistischer Diskriminierung in KI-Systemen, mit breiten Anwendungsmöglichkeiten für Fairness in automatisierten Entscheidungsprozessen.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.