시스템과 사회에서 생성형 AI 시스템의 사회적 영향 평가

초록

텍스트, 이미지, 오디오, 비디오 등 다양한 모달리티에 걸친 생성형 AI 시스템은 광범위한 사회적 영향을 미치지만, 이러한 영향을 평가하는 방법과 어떤 영향을 평가해야 하는지에 대한 공식적인 표준은 아직 존재하지 않습니다. 우리는 특정 애플리케이션이 정해지지 않은 기본 시스템에서 평가 가능한 사항과 사회에서 평가 가능한 사항이라는 두 가지 포괄적인 범주로, 모든 모달리티의 생성형 AI 시스템을 평가하기 위한 표준 접근 방식을 제안합니다. 우리는 특정 사회적 영향 범주와 기본 기술 시스템, 그리고 사람과 사회에서 평가를 수행하는 방법에 대해 설명합니다. 기본 시스템을 위한 우리의 프레임워크는 편향, 고정관념 및 표현적 피해; 문화적 가치와 민감한 콘텐츠; 불균등한 성능; 프라이버시와 데이터 보호; 재정적 비용; 환경적 비용; 데이터 및 콘텐츠 관리 노동 비용 등 일곱 가지 사회적 영향 범주를 정의합니다. 평가를 위한 제안된 방법은 모든 모달리티에 적용 가능하며, 기존 평가의 한계에 대한 분석은 향후 평가에 필요한 투자를 위한 출발점 역할을 합니다. 우리는 사회에서 평가 가능한 사항에 대해 신뢰성과 자율성; 불평등, 소외 및 폭력; 권력 집중; 노동과 창의성; 생태계와 환경 등 다섯 가지 포괄적인 범주를 제시하며, 각 하위 범주에는 피해를 완화하기 위한 권장 사항이 포함되어 있습니다. 우리는 동시에 AI 연구 커뮤니티가 주어진 범주에 따라 기존 평가를 기여할 수 있는 평가 저장소를 구축 중입니다. 이 버전은 ACM FAccT 2023에서의 CRAFT 세션 이후 업데이트될 예정입니다.

English

Generative AI systems across modalities, ranging from text, image, audio, and video, have broad social impacts, but there exists no official standard for means of evaluating those impacts and which impacts should be evaluated. We move toward a standard approach in evaluating a generative AI system for any modality, in two overarching categories: what is able to be evaluated in a base system that has no predetermined application and what is able to be evaluated in society. We describe specific social impact categories and how to approach and conduct evaluations in the base technical system, then in people and society. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to all modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what is able to be evaluated in society, each with their own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm. We are concurrently crafting an evaluation repository for the AI research community to contribute existing evaluations along the given categories. This version will be updated following a CRAFT session at ACM FAccT 2023.

시스템과 사회에서 생성형 AI 시스템의 사회적 영향 평가

Evaluating the Social Impact of Generative AI Systems in Systems and Society

초록

Support