Quantifier l'équité dans les LLM au-delà des tokens : une perspective sémantique et statistique

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Auteurs: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) génèrent souvent des réponses présentant des biais inhérents, compromettant ainsi leur fiabilité dans des applications réelles. Les méthodes d'évaluation existantes négligent souvent les biais dans les réponses longues et la variabilité intrinsèque des sorties des LLMs. Pour relever ces défis, nous proposons FiSCo (Fine-grained Semantic Computation), un cadre statistique novateur visant à évaluer l'équité au niveau des groupes dans les LLMs en détectant des différences sémantiques subtiles dans les réponses longues entre différents groupes démographiques. Contrairement aux travaux antérieurs axés sur le sentiment ou les comparaisons au niveau des tokens, FiSCo va au-delà de l'analyse superficielle en opérant au niveau des affirmations, en exploitant des vérifications d'implication pour évaluer la cohérence sémantique entre les réponses. Nous décomposons les sorties du modèle en affirmations sémantiquement distinctes et appliquons des tests d'hypothèses statistiques pour comparer les similarités inter et intra-groupes, permettant ainsi une détection robuste des biais subtils. Nous formalisons une nouvelle définition de l'équité contrefactuelle au niveau des groupes et validons FiSCo sur des ensembles de données synthétiques et annotés par des humains, couvrant le genre, la race et l'âge. Les expériences montrent que FiSCo identifie de manière plus fiable les biais nuancés tout en réduisant l'impact de la variabilité stochastique des LLMs, surpassant diverses métriques d'évaluation.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.