Daten- und KI-Governance: Förderung von Gerechtigkeit, Ethik und Fairness in großen Sprachmodellen

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

papers.authors: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

papers.abstract

In diesem Artikel behandeln wir Ansätze zur systematischen Steuerung, Bewertung und Quantifizierung von Verzerrungen über den gesamten Lebenszyklus von Machine-Learning-Modellen hinweg – von der anfänglichen Entwicklung und Validierung bis hin zur kontinuierlichen Produktionsüberwachung und der Implementierung von Schutzmaßnahmen. Aufbauend auf unserer grundlegenden Arbeit zum Bias Evaluation and Assessment Test Suite (BEATS) für Large Language Models teilen die Autoren verbreitete Lücken im Zusammenhang mit Verzerrungen und Fairness in Large Language Models (LLMs) und diskutieren ein Daten- und KI-Governance-Framework, um Verzerrungen, Ethik, Fairness und Faktentreue in LLMs zu adressieren. Der in diesem Artikel diskutierte Daten- und KI-Governance-Ansatz eignet sich für praktische, reale Anwendungen und ermöglicht eine rigorose Benchmarking von LLMs vor der Produktionsbereitstellung, erleichtert die kontinuierliche Echtzeitbewertung und steuert proaktiv die von LLMs generierten Antworten. Durch die Implementierung der Daten- und KI-Governance über den gesamten Lebenszyklus der KI-Entwicklung hinweg können Organisationen die Sicherheit und Verantwortung ihrer GenAI-Systeme erheblich verbessern, Risiken der Diskriminierung effektiv mindern und potenzielle reputations- oder markenbezogene Schäden abwehren. Letztendlich zielen wir mit diesem Artikel darauf ab, einen Beitrag zur Weiterentwicklung der Erstellung und Bereitstellung von sozial verantwortungsvollen und ethisch ausgerichteten, generativen KI-gestützten Anwendungen zu leisten.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.