Évaluation de l'impact social des systèmes d'IA générative dans les systèmes et la société

Evaluating the Social Impact of Generative AI Systems in Systems and Society

June 9, 2023

Auteurs: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Hal Daumé III, Jesse Dodge, Ellie Evans, Sara Hooker, Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell, Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev

cs.AI

Résumé

Les systèmes d'IA générative couvrant diverses modalités, telles que le texte, l'image, l'audio et la vidéo, ont des impacts sociaux étendus, mais il n'existe aucune norme officielle pour évaluer ces impacts ni pour déterminer lesquels devraient être évalués. Nous proposons une approche standardisée pour évaluer un système d'IA générative, quelle que soit sa modalité, en deux catégories principales : ce qui peut être évalué dans un système de base sans application prédéfinie et ce qui peut être évalué dans la société. Nous décrivons des catégories spécifiques d'impacts sociaux et comment aborder et mener des évaluations dans le système technique de base, puis dans les individus et la société. Notre cadre pour un système de base définit sept catégories d'impacts sociaux : les biais, les stéréotypes et les préjudices représentationnels ; les valeurs culturelles et les contenus sensibles ; les performances disparates ; la protection de la vie privée et des données ; les coûts financiers ; les coûts environnementaux ; et les coûts liés à la modération des données et des contenus. Les méthodes suggérées pour l'évaluation s'appliquent à toutes les modalités, et les analyses des limites des évaluations existantes servent de point de départ pour les investissements nécessaires dans les évaluations futures. Nous proposons cinq catégories principales pour ce qui peut être évalué dans la société, chacune avec ses propres sous-catégories : la fiabilité et l'autonomie ; les inégalités, la marginalisation et la violence ; la concentration de l'autorité ; le travail et la créativité ; et l'écosystème et l'environnement. Chaque sous-catégorie inclut des recommandations pour atténuer les préjudices. Nous élaborons simultanément un référentiel d'évaluation pour que la communauté de recherche en IA puisse contribuer avec des évaluations existantes selon les catégories données. Cette version sera mise à jour suite à une session CRAFT lors de la conférence ACM FAccT 2023.

English

Generative AI systems across modalities, ranging from text, image, audio, and video, have broad social impacts, but there exists no official standard for means of evaluating those impacts and which impacts should be evaluated. We move toward a standard approach in evaluating a generative AI system for any modality, in two overarching categories: what is able to be evaluated in a base system that has no predetermined application and what is able to be evaluated in society. We describe specific social impact categories and how to approach and conduct evaluations in the base technical system, then in people and society. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to all modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what is able to be evaluated in society, each with their own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm. We are concurrently crafting an evaluation repository for the AI research community to contribute existing evaluations along the given categories. This version will be updated following a CRAFT session at ACM FAccT 2023.