Valutazione dell'Impatto Sociale dei Sistemi di Intelligenza Artificiale Generativa nei Sistemi e nella Società

Evaluating the Social Impact of Generative AI Systems in Systems and Society

June 9, 2023

Autori: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Hal Daumé III, Jesse Dodge, Ellie Evans, Sara Hooker, Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell, Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev

cs.AI

Abstract

I sistemi di intelligenza artificiale generativa, che spaziano tra diverse modalità come testo, immagini, audio e video, hanno un ampio impatto sociale, ma non esiste uno standard ufficiale per valutare tali impatti e quali di essi dovrebbero essere valutati. Proponiamo un approccio standardizzato per valutare un sistema di IA generativa in qualsiasi modalità, suddividendolo in due categorie principali: ciò che può essere valutato in un sistema di base privo di un'applicazione predeterminata e ciò che può essere valutato nella società. Descriviamo specifiche categorie di impatto sociale e come affrontare e condurre valutazioni nel sistema tecnico di base, e successivamente nelle persone e nella società. Il nostro framework per un sistema di base definisce sette categorie di impatto sociale: bias, stereotipi e danni rappresentativi; valori culturali e contenuti sensibili; prestazioni diseguali; privacy e protezione dei dati; costi finanziari; costi ambientali; e costi del lavoro di moderazione di dati e contenuti. I metodi suggeriti per la valutazione si applicano a tutte le modalità, e le analisi dei limiti delle valutazioni esistenti servono come punto di partenza per gli investimenti necessari nelle valutazioni future. Proponiamo cinque categorie principali per ciò che può essere valutato nella società, ciascuna con le proprie sottocategorie: affidabilità e autonomia; disuguaglianza, marginalizzazione e violenza; concentrazione dell'autorità; lavoro e creatività; e ecosistema e ambiente. Ogni sottocategoria include raccomandazioni per mitigare i danni. Stiamo contemporaneamente creando un repository di valutazioni per la comunità di ricerca sull'IA, per contribuire con valutazioni esistenti lungo le categorie indicate. Questa versione sarà aggiornata in seguito a una sessione CRAFT all'ACM FAccT 2023.

English

Generative AI systems across modalities, ranging from text, image, audio, and video, have broad social impacts, but there exists no official standard for means of evaluating those impacts and which impacts should be evaluated. We move toward a standard approach in evaluating a generative AI system for any modality, in two overarching categories: what is able to be evaluated in a base system that has no predetermined application and what is able to be evaluated in society. We describe specific social impact categories and how to approach and conduct evaluations in the base technical system, then in people and society. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to all modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what is able to be evaluated in society, each with their own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm. We are concurrently crafting an evaluation repository for the AI research community to contribute existing evaluations along the given categories. This version will be updated following a CRAFT session at ACM FAccT 2023.