Data- en AI-governance: Het bevorderen van gelijkheid, ethiek en eerlijkheid in grote taalmodel(len).

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

Auteurs: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Samenvatting

In dit artikel bespreken we benaderingen om bias systematisch te beheersen, te beoordelen en te kwantificeren gedurende de volledige levenscyclus van machine learning-modellen, vanaf de initiële ontwikkeling en validatie tot voortdurende monitoring in productie en de implementatie van beveiligingsmaatregelen. Voortbouwend op ons fundamentele werk aan de Bias Evaluation and Assessment Test Suite (BEATS) voor Large Language Models, delen de auteurs veelvoorkomende hiaten op het gebied van bias en eerlijkheid in Large Language Models (LLM's) en bespreken ze een data- en AI-governancekader om Bias, Ethiek, Eerlijkheid en Feitelijkheid binnen LLM's aan te pakken. De data- en AI-governancebenadering die in dit artikel wordt besproken, is geschikt voor praktische, real-world toepassingen, waardoor rigoureuze benchmarking van LLM's mogelijk wordt vóór productie-implementatie, continue real-time evaluatie wordt gefaciliteerd en LLM-gegenereerde reacties proactief worden beheerd. Door data- en AI-governance te implementeren gedurende de levenscyclus van AI-ontwikkeling, kunnen organisaties de veiligheid en verantwoordelijkheid van hun GenAI-systemen aanzienlijk verbeteren, waardoor risico's op discriminatie effectief worden beperkt en potentiële reputatie- of merkgerelateerde schade wordt voorkomen. Uiteindelijk streven we er met dit artikel naar bij te dragen aan de vooruitgang van het creëren en implementeren van sociaal verantwoordelijke en ethisch afgestemde toepassingen die worden aangedreven door generatieve kunstmatige intelligentie.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.