Gouvernance des données et de l’IA : Promouvoir l’équité, l’éthique et l’équité dans les grands modèles de langage

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

papers.authors: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

papers.abstract

Dans cet article, nous abordons des approches pour gouverner, évaluer et quantifier systématiquement les biais tout au long du cycle de vie complet des modèles d'apprentissage automatique, depuis le développement et la validation initiaux jusqu'au suivi en production et à la mise en place de garde-fous. En nous appuyant sur nos travaux fondateurs concernant la suite de tests d'évaluation et d'analyse des biais (BEATS) pour les modèles de langage de grande taille (LLMs), les auteurs partagent les lacunes prévalentes liées aux biais et à l'équité dans les LLMs et discutent d'un cadre de gouvernance des données et de l'IA pour aborder les questions de biais, d'éthique, d'équité et de factualité au sein des LLMs. L'approche de gouvernance des données et de l'IA présentée dans cet article est adaptée à des applications pratiques et réelles, permettant un benchmarking rigoureux des LLMs avant leur déploiement en production, facilitant une évaluation en temps réel continue et gouvernant de manière proactive les réponses générées par les LLMs. En mettant en œuvre cette gouvernance des données et de l'IA tout au long du cycle de développement de l'IA, les organisations peuvent considérablement améliorer la sécurité et la responsabilité de leurs systèmes d'IA générative, atténuant efficacement les risques de discrimination et protégeant contre les dommages potentiels liés à la réputation ou à la marque. Enfin, à travers cet article, nous visons à contribuer à l'avancement de la création et du déploiement d'applications d'intelligence artificielle générative socialement responsables et alignées sur des principes éthiques.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.