Het evalueren van de maatschappelijke impact van generatieve AI-systemen in systemen en samenleving
Evaluating the Social Impact of Generative AI Systems in Systems and Society
June 9, 2023
Auteurs: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Hal Daumé III, Jesse Dodge, Ellie Evans, Sara Hooker, Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell, Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev
cs.AI
Samenvatting
Generatieve AI-systemen over verschillende modaliteiten, zoals tekst, beeld, audio en video, hebben brede maatschappelijke impact, maar er bestaat geen officiële standaard voor het evalueren van die impact en welke impact geëvalueerd zou moeten worden. Wij werken toe naar een standaardbenadering voor het evalueren van een generatief AI-systeem voor elke modaliteit, in twee overkoepelende categorieën: wat er geëvalueerd kan worden in een basissysteem zonder vooraf bepaalde toepassing en wat er geëvalueerd kan worden in de samenleving. We beschrijven specifieke categorieën van maatschappelijke impact en hoe evaluaties benaderd en uitgevoerd kunnen worden in het technische basissysteem, en vervolgens in mensen en de samenleving. Ons raamwerk voor een basissysteem definieert zeven categorieën van maatschappelijke impact: bias, stereotypen en representatieve schade; culturele waarden en gevoelige inhoud; ongelijke prestaties; privacy en gegevensbescherming; financiële kosten; milieukosten; en kosten voor moderatie van gegevens en inhoud. Voorgestelde methoden voor evaluatie zijn van toepassing op alle modaliteiten, en analyses van de beperkingen van bestaande evaluaties dienen als uitgangspunt voor de noodzakelijke investering in toekomstige evaluaties. We bieden vijf overkoepelende categorieën voor wat er in de samenleving geëvalueerd kan worden, elk met hun eigen subcategorieën: betrouwbaarheid en autonomie; ongelijkheid, marginalisering en geweld; concentratie van autoriteit; arbeid en creativiteit; en ecosysteem en milieu. Elke subcategorie omvat aanbevelingen voor het beperken van schade. We zijn gelijktijdig bezig met het opzetten van een evaluatierepository voor de AI-onderzoeksgemeenschap om bestaande evaluaties in de gegeven categorieën bij te dragen. Deze versie zal worden bijgewerkt na een CRAFT-sessie op ACM FAccT 2023.
English
Generative AI systems across modalities, ranging from text, image, audio, and
video, have broad social impacts, but there exists no official standard for
means of evaluating those impacts and which impacts should be evaluated. We
move toward a standard approach in evaluating a generative AI system for any
modality, in two overarching categories: what is able to be evaluated in a base
system that has no predetermined application and what is able to be evaluated
in society. We describe specific social impact categories and how to approach
and conduct evaluations in the base technical system, then in people and
society. Our framework for a base system defines seven categories of social
impact: bias, stereotypes, and representational harms; cultural values and
sensitive content; disparate performance; privacy and data protection;
financial costs; environmental costs; and data and content moderation labor
costs. Suggested methods for evaluation apply to all modalities and analyses of
the limitations of existing evaluations serve as a starting point for necessary
investment in future evaluations. We offer five overarching categories for what
is able to be evaluated in society, each with their own subcategories:
trustworthiness and autonomy; inequality, marginalization, and violence;
concentration of authority; labor and creativity; and ecosystem and
environment. Each subcategory includes recommendations for mitigating harm. We
are concurrently crafting an evaluation repository for the AI research
community to contribute existing evaluations along the given categories. This
version will be updated following a CRAFT session at ACM FAccT 2023.