Penso, Logo Sou Subqualificado? Um Benchmark para Avaliação de Detecção de Shibboleths Linguísticos em Avaliações de Contratação com LLMs

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

August 6, 2025

Autores: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Resumo

Este artigo apresenta um benchmark abrangente para avaliar como os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) respondem a shibboletes linguísticos: marcadores linguísticos sutis que podem revelar inadvertidamente atributos demográficos, como gênero, classe social ou origem regional. Por meio de simulações de entrevistas cuidadosamente construídas, utilizando 100 pares de perguntas e respostas validados, demonstramos como os LLMs penalizam sistematicamente certos padrões linguísticos, particularmente o uso de linguagem de hesitação, apesar da qualidade equivalente do conteúdo. Nosso benchmark gera variações linguísticas controladas que isolam fenômenos específicos enquanto mantêm a equivalência semântica, o que permite a medição precisa de viés demográfico em sistemas de avaliação automatizados. Validamos nossa abordagem em múltiplas dimensões linguísticas, mostrando que respostas hesitantes recebem, em média, avaliações 25,6% mais baixas, e demonstramos a eficácia do benchmark na identificação de vieses específicos dos modelos. Este trabalho estabelece uma estrutura fundamental para detectar e medir a discriminação linguística em sistemas de IA, com amplas aplicações para a justiça em contextos de tomada de decisão automatizada.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.