Gobernanza de datos e IA: Promoviendo equidad, ética y justicia en los modelos de lenguaje a gran escala

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

Autores: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Resumen

En este artículo, abordamos enfoques para gobernar, evaluar y cuantificar de manera sistemática el sesgo a lo largo del ciclo de vida completo de los modelos de aprendizaje automático, desde el desarrollo y validación inicial hasta el monitoreo continuo en producción y la implementación de salvaguardias. Basándonos en nuestro trabajo fundamental sobre el Conjunto de Pruebas de Evaluación y Valoración de Sesgos (BEATS) para Modelos de Lenguaje de Gran Escala (LLMs), los autores comparten brechas prevalentes relacionadas con el sesgo y la equidad en los LLMs y discuten un marco de gobernanza de datos e inteligencia artificial para abordar el Sesgo, la Ética, la Equidad y la Veracidad en los LLMs. El enfoque de gobernanza de datos e inteligencia artificial discutido en este artículo es adecuado para aplicaciones prácticas en el mundo real, permitiendo una evaluación rigurosa de los LLMs antes de su implementación en producción, facilitando una evaluación continua en tiempo real y gobernando de manera proactiva las respuestas generadas por los LLMs. Al implementar la gobernanza de datos e inteligencia artificial a lo largo del ciclo de vida del desarrollo de la IA, las organizaciones pueden mejorar significativamente la seguridad y la responsabilidad de sus sistemas de IA generativa, mitigando efectivamente los riesgos de discriminación y protegiéndose contra posibles daños reputacionales o relacionados con la marca. En última instancia, a través de este artículo, buscamos contribuir al avance de la creación y despliegue de aplicaciones impulsadas por inteligencia artificial generativa socialmente responsables y alineadas éticamente.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.