Avaliação do Impacto Social de Sistemas de IA Generativa em Sistemas e Sociedade
Evaluating the Social Impact of Generative AI Systems in Systems and Society
June 9, 2023
Autores: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Hal Daumé III, Jesse Dodge, Ellie Evans, Sara Hooker, Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell, Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev
cs.AI
Resumo
Sistemas de IA generativa em diversas modalidades, como texto, imagem, áudio e vídeo, têm amplos impactos sociais, mas não existe um padrão oficial para avaliar esses impactos ou quais impactos devem ser avaliados. Avançamos em direção a uma abordagem padronizada para avaliar um sistema de IA generativa em qualquer modalidade, em duas categorias principais: o que pode ser avaliado em um sistema base que não tem uma aplicação predeterminada e o que pode ser avaliado na sociedade. Descrevemos categorias específicas de impacto social e como abordar e conduzir avaliações no sistema técnico base, e depois em pessoas e sociedade. Nosso framework para um sistema base define sete categorias de impacto social: viés, estereótipos e danos representacionais; valores culturais e conteúdo sensível; desempenho desigual; privacidade e proteção de dados; custos financeiros; custos ambientais; e custos de moderação de dados e conteúdo. Métodos sugeridos para avaliação aplicam-se a todas as modalidades, e análises das limitações das avaliações existentes servem como ponto de partida para o investimento necessário em avaliações futuras. Oferecemos cinco categorias principais para o que pode ser avaliado na sociedade, cada uma com suas próprias subcategorias: confiabilidade e autonomia; desigualdade, marginalização e violência; concentração de autoridade; trabalho e criatividade; e ecossistema e meio ambiente. Cada subcategoria inclui recomendações para mitigar danos. Estamos simultaneamente criando um repositório de avaliações para a comunidade de pesquisa em IA contribuir com avaliações existentes ao longo das categorias fornecidas. Esta versão será atualizada após uma sessão CRAFT na ACM FAccT 2023.
English
Generative AI systems across modalities, ranging from text, image, audio, and
video, have broad social impacts, but there exists no official standard for
means of evaluating those impacts and which impacts should be evaluated. We
move toward a standard approach in evaluating a generative AI system for any
modality, in two overarching categories: what is able to be evaluated in a base
system that has no predetermined application and what is able to be evaluated
in society. We describe specific social impact categories and how to approach
and conduct evaluations in the base technical system, then in people and
society. Our framework for a base system defines seven categories of social
impact: bias, stereotypes, and representational harms; cultural values and
sensitive content; disparate performance; privacy and data protection;
financial costs; environmental costs; and data and content moderation labor
costs. Suggested methods for evaluation apply to all modalities and analyses of
the limitations of existing evaluations serve as a starting point for necessary
investment in future evaluations. We offer five overarching categories for what
is able to be evaluated in society, each with their own subcategories:
trustworthiness and autonomy; inequality, marginalization, and violence;
concentration of authority; labor and creativity; and ecosystem and
environment. Each subcategory includes recommendations for mitigating harm. We
are concurrently crafting an evaluation repository for the AI research
community to contribute existing evaluations along the given categories. This
version will be updated following a CRAFT session at ACM FAccT 2023.