BEATS: Suíte de Testes para Avaliação e Análise de Viés em Modelos de Linguagem de Grande Escala

BEATS: Bias Evaluation and Assessment Test Suite for Large Language Models

March 31, 2025

Autores: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Resumo

Nesta pesquisa, apresentamos o BEATS, uma nova estrutura para avaliar Viés, Ética, Justiça e Factualidade em Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês). Com base na estrutura BEATS, propomos um benchmark de viés para LLMs que mede o desempenho em 29 métricas distintas. Essas métricas abrangem uma ampla gama de características, incluindo vieses demográficos, cognitivos e sociais, além de medidas de raciocínio ético, justiça entre grupos e riscos de desinformação relacionados à factualidade. Essas métricas permitem uma avaliação quantitativa do grau em que as respostas geradas por LLMs podem perpetuar preconceitos sociais que reforçam ou ampliam desigualdades sistêmicas. Para obter uma pontuação elevada neste benchmark, um LLM deve demonstrar comportamento altamente equitativo em suas respostas, tornando-o um padrão rigoroso para a avaliação de IA responsável. Resultados empíricos baseados em dados de nosso experimento mostram que 37,65% das saídas geradas por modelos líderes do setor continham alguma forma de viés, destacando um risco substancial ao usar esses modelos em sistemas de tomada de decisão crítica. A estrutura e o benchmark BEATS oferecem uma metodologia escalável e estatisticamente rigorosa para avaliar LLMs, diagnosticar fatores que impulsionam vieses e desenvolver estratégias de mitigação. Com a estrutura BEATS, nosso objetivo é contribuir para o desenvolvimento de modelos de IA mais socialmente responsáveis e alinhados eticamente.

English

In this research, we introduce BEATS, a novel framework for evaluating Bias, Ethics, Fairness, and Factuality in Large Language Models (LLMs). Building upon the BEATS framework, we present a bias benchmark for LLMs that measure performance across 29 distinct metrics. These metrics span a broad range of characteristics, including demographic, cognitive, and social biases, as well as measures of ethical reasoning, group fairness, and factuality related misinformation risk. These metrics enable a quantitative assessment of the extent to which LLM generated responses may perpetuate societal prejudices that reinforce or expand systemic inequities. To achieve a high score on this benchmark a LLM must show very equitable behavior in their responses, making it a rigorous standard for responsible AI evaluation. Empirical results based on data from our experiment show that, 37.65\% of outputs generated by industry leading models contained some form of bias, highlighting a substantial risk of using these models in critical decision making systems. BEATS framework and benchmark offer a scalable and statistically rigorous methodology to benchmark LLMs, diagnose factors driving biases, and develop mitigation strategies. With the BEATS framework, our goal is to help the development of more socially responsible and ethically aligned AI models.