Quantificare l'Equità nei Modelli Linguistici di Grande Dimensione Oltre i Token: Una Prospettiva Semantica e Statistica

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Autori: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) spesso generano risposte con pregiudizi intrinseci, compromettendo la loro affidabilità nelle applicazioni del mondo reale. I metodi di valutazione esistenti spesso trascurano i pregiudizi nelle risposte di lunga durata e la variabilità intrinseca degli output degli LLM. Per affrontare queste sfide, proponiamo FiSCo (Fine-grained Semantic Computation), un nuovo framework statistico per valutare l'equità a livello di gruppo negli LLM rilevando sottili differenze semantiche nelle risposte di lunga durata tra gruppi demografici. A differenza dei lavori precedenti che si concentrano sul sentimento o sui confronti a livello di token, FiSCo va oltre l'analisi superficiale operando a livello di affermazione, sfruttando i controlli di implicazione per valutare la coerenza del significato tra le risposte. Scomponiamo gli output del modello in affermazioni semanticamente distinte e applichiamo test statistici di ipotesi per confrontare le somiglianze inter e intra-gruppo, consentendo il rilevamento robusto di pregiudizi sottili. Formalizziamo una nuova definizione di equità controfattuale di gruppo e validiamo FiSCo su dataset sia sintetici che annotati da esseri umani, che coprono genere, razza ed età. Gli esperimenti dimostrano che FiSCo identifica in modo più affidabile pregiudizi sfumati riducendo l'impatto della variabilità stocastica degli LLM, superando varie metriche di valutazione.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.