Количественная оценка справедливости в языковых моделях за пределами токенов: семантический и статистический подход

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

June 23, 2025

Авторы: Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

cs.AI

Аннотация

Крупные языковые модели (LLM) часто генерируют ответы с присущими им предубеждениями, что снижает их надежность в реальных приложениях. Существующие методы оценки часто упускают из виду предубеждения в длинных ответах и внутреннюю изменчивость выходных данных LLM. Для решения этих проблем мы предлагаем FiSCo (Fine-grained Semantic Computation) — новый статистический фреймворк для оценки групповой справедливости в LLM путем обнаружения тонких семантических различий в длинных ответах для различных демографических групп. В отличие от предыдущих работ, сосредоточенных на анализе тональности или сравнении на уровне токенов, FiSCo выходит за рамки поверхностного анализа, работая на уровне утверждений и используя проверку логической связанности для оценки согласованности смысла в ответах. Мы разбиваем выходные данные модели на семантически независимые утверждения и применяем статистическую проверку гипотез для сравнения межгруппового и внутригруппового сходства, что позволяет надежно обнаруживать тонкие предубеждения. Мы формализуем новое определение групповой контрфактической справедливости и проверяем FiSCo на синтетических и аннотированных человеком наборах данных, охватывающих гендер, расу и возраст. Эксперименты показывают, что FiSCo более надежно выявляет нюансированные предубеждения, снижая влияние стохастической изменчивости LLM, и превосходит различные метрики оценки.

English

Large Language Models (LLMs) often generate responses with inherent biases, undermining their reliability in real-world applications. Existing evaluation methods often overlook biases in long-form responses and the intrinsic variability of LLM outputs. To address these challenges, we propose FiSCo(Fine-grained Semantic Computation), a novel statistical framework to evaluate group-level fairness in LLMs by detecting subtle semantic differences in long-form responses across demographic groups. Unlike prior work focusing on sentiment or token-level comparisons, FiSCo goes beyond surface-level analysis by operating at the claim level, leveraging entailment checks to assess the consistency of meaning across responses. We decompose model outputs into semantically distinct claims and apply statistical hypothesis testing to compare inter- and intra-group similarities, enabling robust detection of subtle biases. We formalize a new group counterfactual fairness definition and validate FiSCo on both synthetic and human-annotated datasets spanning gender, race, and age. Experiments show that FiSco more reliably identifies nuanced biases while reducing the impact of stochastic LLM variability, outperforming various evaluation metrics.