Penso, dunque sono sotto-qualificato? Un benchmark per valutare il rilevamento di shibboleth linguistici nelle valutazioni di assunzione con LLM

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

August 6, 2025

Autori: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Abstract

Questo articolo introduce un benchmark completo per valutare come i Large Language Models (LLM) rispondono agli shibboleth linguistici: marcatori linguistici sottili che possono rivelare involontariamente attributi demografici come genere, classe sociale o provenienza regionale. Attraverso simulazioni di interviste accuratamente costruite utilizzando 100 coppie domanda-risposta validate, dimostriamo come i LLM penalizzino sistematicamente determinati schemi linguistici, in particolare il linguaggio di mitigazione, nonostante la qualità equivalente del contenuto. Il nostro benchmark genera variazioni linguistiche controllate che isolano fenomeni specifici mantenendo l'equivalenza semantica, consentendo così la misurazione precisa del bias demografico nei sistemi di valutazione automatizzati. Validiamo il nostro approccio lungo molteplici dimensioni linguistiche, mostrando che le risposte mitigate ricevono valutazioni inferiori in media del 25,6%, e dimostriamo l'efficacia del benchmark nell'identificare bias specifici dei modelli. Questo lavoro stabilisce un framework fondamentale per rilevare e misurare la discriminazione linguistica nei sistemi di intelligenza artificiale, con ampie applicazioni nell'equità nei contesti di decision-making automatizzato.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.