Quantifizierung von Fairness in LLMs über Tokens hinaus: Eine semantische und statistische Perspektive

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Autoren: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) generieren oft Antworten mit inhärenten Verzerrungen, was ihre Zuverlässigkeit in realen Anwendungen untergräbt. Bestehende Evaluierungsmethoden übersehen häufig Verzerrungen in langen Antworten und die intrinsische Variabilität der LLM-Ausgaben. Um diese Herausforderungen zu bewältigen, schlagen wir FiSCo (Fine-grained Semantic Computation) vor, ein neuartiges statistisches Framework zur Bewertung der Fairness auf Gruppenebene in LLMs, indem es subtile semantische Unterschiede in langen Antworten über demografische Gruppen hinweg erkennt. Im Gegensatz zu früheren Arbeiten, die sich auf Sentiment oder Token-Vergleiche konzentrieren, geht FiSCo über oberflächliche Analysen hinaus, indem es auf der Behauptungsebene operiert und Entailment-Prüfungen nutzt, um die Konsistenz der Bedeutung über Antworten hinweg zu bewerten. Wir zerlegen Modellausgaben in semantisch unterschiedliche Behauptungen und wenden statistische Hypothesentests an, um inter- und intra-gruppale Ähnlichkeiten zu vergleichen, was eine robuste Erkennung subtiler Verzerrungen ermöglicht. Wir formalisieren eine neue Definition der gruppenbezogenen kontrafaktischen Fairness und validieren FiSCo anhand von sowohl synthetischen als auch von Menschen annotierten Datensätzen, die Geschlecht, Rasse und Alter abdecken. Experimente zeigen, dass FiSCo nuancenreiche Verzerrungen zuverlässiger identifiziert, während es den Einfluss der stochastischen Variabilität von LLMs reduziert und verschiedene Evaluierungsmetriken übertrifft.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.