¿Pienso, Luego Estoy Subcalificado? Un Punto de Referencia para Evaluar la Detección de Shibboleths Lingüísticos en las Evaluaciones de Contratación con Modelos de Lenguaje

I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations

August 6, 2025

Autores: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

cs.AI

Resumen

Este artículo presenta un punto de referencia integral para evaluar cómo los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) responden a los shibboleths lingüísticos: marcadores lingüísticos sutiles que pueden revelar inadvertidamente atributos demográficos como el género, la clase social o el origen regional. A través de simulaciones de entrevistas cuidadosamente construidas utilizando 100 pares de preguntas-respuestas validadas, demostramos cómo los LLMs penalizan sistemáticamente ciertos patrones lingüísticos, particularmente el lenguaje de atenuación, a pesar de una calidad de contenido equivalente. Nuestro punto de referencia genera variaciones lingüísticas controladas que aíslan fenómenos específicos mientras mantienen la equivalencia semántica, lo que permite la medición precisa del sesgo demográfico en los sistemas de evaluación automatizada. Validamos nuestro enfoque en múltiples dimensiones lingüísticas, mostrando que las respuestas atenuadas reciben calificaciones un 25.6% más bajas en promedio, y demostramos la efectividad del punto de referencia para identificar sesgos específicos de los modelos. Este trabajo establece un marco fundamental para detectar y medir la discriminación lingüística en los sistemas de inteligencia artificial, con amplias aplicaciones para la equidad en contextos de toma de decisiones automatizada.

English

This paper introduces a comprehensive benchmark for evaluating how Large Language Models (LLMs) respond to linguistic shibboleths: subtle linguistic markers that can inadvertently reveal demographic attributes such as gender, social class, or regional background. Through carefully constructed interview simulations using 100 validated question-response pairs, we demonstrate how LLMs systematically penalize certain linguistic patterns, particularly hedging language, despite equivalent content quality. Our benchmark generates controlled linguistic variations that isolate specific phenomena while maintaining semantic equivalence, which enables the precise measurement of demographic bias in automated evaluation systems. We validate our approach along multiple linguistic dimensions, showing that hedged responses receive 25.6% lower ratings on average, and demonstrate the benchmark's effectiveness in identifying model-specific biases. This work establishes a foundational framework for detecting and measuring linguistic discrimination in AI systems, with broad applications to fairness in automated decision-making contexts.