Governance dei dati e dell'IA: Promuovere equità, etica e correttezza nei modelli linguistici su larga scala

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

Autori: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Abstract

In questo articolo, affrontiamo approcci per governare, valutare e quantificare sistematicamente i pregiudizi lungo l'intero ciclo di vita dei modelli di machine learning, dallo sviluppo e validazione iniziale al monitoraggio continuo in produzione e all'implementazione di meccanismi di salvaguardia. Basandoci sul nostro lavoro fondamentale sul Bias Evaluation and Assessment Test Suite (BEATS) per i Large Language Models (LLM), gli autori condividono le lacune prevalenti relative ai pregiudizi e all'equità nei LLM e discutono un framework di governance dei dati e dell'IA per affrontare i temi di Bias, Etica, Equità e Veridicità all'interno dei LLM. L'approccio di governance dei dati e dell'IA discusso in questo articolo è adatto per applicazioni pratiche nel mondo reale, consentendo un benchmarking rigoroso dei LLM prima della distribuzione in produzione, facilitando una valutazione continua in tempo reale e governando proattivamente le risposte generate dai LLM. Implementando la governance dei dati e dell'IA lungo l'intero ciclo di sviluppo dell'IA, le organizzazioni possono migliorare significativamente la sicurezza e la responsabilità dei loro sistemi GenAI, mitigando efficacemente i rischi di discriminazione e proteggendosi da potenziali danni reputazionali o legati al brand. In definitiva, attraverso questo articolo, miriamo a contribuire al progresso della creazione e distribuzione di applicazioni generative di intelligenza artificiale socialmente responsabili e allineate eticamente.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.