Governança de dados e IA: Promovendo equidade, ética e justiça em modelos de linguagem de grande escala

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

Autores: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Resumo

Neste artigo, abordamos métodos para governar, avaliar e quantificar sistematicamente o viés ao longo de todo o ciclo de vida dos modelos de aprendizado de máquina, desde o desenvolvimento e validação iniciais até o monitoramento contínuo em produção e a implementação de salvaguardas. Com base em nosso trabalho fundamental sobre o Conjunto de Testes de Avaliação e Análise de Viés (BEATS) para Modelos de Linguagem de Grande Escala (LLMs), os autores compartilham lacunas prevalentes relacionadas a viés e justiça em LLMs e discutem um framework de governança de dados e IA para abordar Viés, Ética, Justiça e Factualidade dentro desses modelos. A abordagem de governança de dados e IA discutida neste artigo é adequada para aplicações práticas do mundo real, permitindo um benchmarking rigoroso de LLMs antes da implantação em produção, facilitando a avaliação contínua em tempo real e governando proativamente as respostas geradas por LLMs. Ao implementar a governança de dados e IA ao longo do ciclo de vida do desenvolvimento de IA, as organizações podem aprimorar significativamente a segurança e a responsabilidade de seus sistemas de GenAI, mitigando efetivamente os riscos de discriminação e protegendo contra possíveis danos reputacionais ou relacionados à marca. Por fim, por meio deste artigo, visamos contribuir para o avanço da criação e implantação de aplicações impulsionadas por inteligência artificial generativa socialmente responsável e alinhada eticamente.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.