Quantificando Justiça em LLMs Além de Tokens: Uma Perspectiva Semântica e Estatística

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Autores: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram respostas com vieses inerentes, comprometendo sua confiabilidade em aplicações do mundo real. Os métodos de avaliação existentes muitas vezes negligenciam vieses em respostas longas e a variabilidade intrínseca das saídas dos LLMs. Para enfrentar esses desafios, propomos o FiSCo (Cálculo Semântico de Granularidade Fina), uma nova estrutura estatística para avaliar a justiça em nível de grupo em LLMs, detectando diferenças semânticas sutis em respostas longas entre grupos demográficos. Diferente de trabalhos anteriores que focam em sentimentos ou comparações no nível de tokens, o FiSCo vai além da análise superficial ao operar no nível de afirmações, utilizando verificações de implicação para avaliar a consistência do significado entre as respostas. Decompomos as saídas dos modelos em afirmações semanticamente distintas e aplicamos testes de hipóteses estatísticas para comparar similaridades inter e intra-grupos, permitindo a detecção robusta de vieses sutis. Formalizamos uma nova definição de justiça contrafactual de grupo e validamos o FiSCo em conjuntos de dados sintéticos e anotados por humanos, abrangendo gênero, raça e idade. Experimentos mostram que o FiSCo identifica vieses mais sutis de forma mais confiável, reduzindo o impacto da variabilidade estocástica dos LLMs e superando várias métricas de avaliação.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.