BEATS : Suite de Tests d'Évaluation et d'Analyse des Biais pour les Grands Modèles de Langage

BEATS: Bias Evaluation and Assessment Test Suite for Large Language Models

March 31, 2025

Auteurs: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Résumé

Dans cette recherche, nous présentons BEATS, un nouveau cadre d'évaluation des biais, de l'éthique, de l'équité et de la factualité dans les grands modèles de langage (LLM). En nous appuyant sur le cadre BEATS, nous proposons un benchmark de biais pour les LLM qui mesure les performances selon 29 métriques distinctes. Ces métriques couvrent un large éventail de caractéristiques, incluant les biais démographiques, cognitifs et sociaux, ainsi que des mesures de raisonnement éthique, d'équité entre groupes et de risque de désinformation liée à la factualité. Ces métriques permettent une évaluation quantitative de la mesure dans laquelle les réponses générées par les LLM peuvent perpétuer des préjugés sociétaux qui renforcent ou amplifient les inégalités systémiques. Pour obtenir un score élevé à ce benchmark, un LLM doit démontrer un comportement très équitable dans ses réponses, ce qui en fait une norme rigoureuse pour l'évaluation de l'IA responsable. Les résultats empiriques basés sur les données de notre expérience montrent que 37,65 % des sorties générées par les modèles leaders de l'industrie contenaient une forme de biais, soulignant un risque substantiel dans l'utilisation de ces modèles pour des systèmes de prise de décision critiques. Le cadre et le benchmark BEATS offrent une méthodologie évolutive et statistiquement rigoureuse pour évaluer les LLM, diagnostiquer les facteurs à l'origine des biais et développer des stratégies d'atténuation. Avec le cadre BEATS, notre objectif est de contribuer au développement de modèles d'IA plus socialement responsables et alignés sur l'éthique.

English

In this research, we introduce BEATS, a novel framework for evaluating Bias, Ethics, Fairness, and Factuality in Large Language Models (LLMs). Building upon the BEATS framework, we present a bias benchmark for LLMs that measure performance across 29 distinct metrics. These metrics span a broad range of characteristics, including demographic, cognitive, and social biases, as well as measures of ethical reasoning, group fairness, and factuality related misinformation risk. These metrics enable a quantitative assessment of the extent to which LLM generated responses may perpetuate societal prejudices that reinforce or expand systemic inequities. To achieve a high score on this benchmark a LLM must show very equitable behavior in their responses, making it a rigorous standard for responsible AI evaluation. Empirical results based on data from our experiment show that, 37.65\% of outputs generated by industry leading models contained some form of bias, highlighting a substantial risk of using these models in critical decision making systems. BEATS framework and benchmark offer a scalable and statistically rigorous methodology to benchmark LLMs, diagnose factors driving biases, and develop mitigation strategies. With the BEATS framework, our goal is to help the development of more socially responsible and ethically aligned AI models.