Het kwantificeren van eerlijkheid in LLM's verder dan tokens: een semantisch en statistisch perspectief

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Auteurs: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) genereren vaak reacties met inherente vooroordelen, wat hun betrouwbaarheid in praktische toepassingen ondermijnt. Bestaande evaluatiemethoden negeren vaak vooroordelen in langere reacties en de intrinsieke variabiliteit van LLM-uitvoer. Om deze uitdagingen aan te pakken, stellen we FiSCo (Fine-grained Semantic Computation) voor, een nieuw statistisch raamwerk om groepsniveau eerlijkheid in LLMs te evalueren door subtiele semantische verschillen in langere reacties over demografische groepen te detecteren. In tegenstelling tot eerder werk dat zich richt op sentiment of token-niveau vergelijkingen, gaat FiSCo verder dan oppervlakkige analyse door op claimniveau te werken en entailment checks te gebruiken om de consistentie van betekenis over reacties te beoordelen. We ontleden modeluitvoer in semantisch verschillende claims en passen statistische hypothesetoetsen toe om inter- en intra-groepsovereenkomsten te vergelijken, waardoor robuuste detectie van subtiele vooroordelen mogelijk wordt. We formaliseren een nieuwe definitie van groep counterfactual fairness en valideren FiSCo op zowel synthetische als door mensen geannoteerde datasets die gender, ras en leeftijd omvatten. Experimenten tonen aan dat FiSCo genuanceerde vooroordelen betrouwbaarder identificeert terwijl de impact van stochastische LLM-variabiliteit wordt verminderd, en het overtreft verschillende evaluatiemetrics.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.