생성형 AI 애플리케이션에서의 책임감 있는 AI 피해 자동 측정을 위한 프레임워크
A Framework for Automated Measurement of Responsible AI Harms in Generative AI Applications
October 26, 2023
저자: Ahmed Magooda, Alec Helyar, Kyle Jackson, David Sullivan, Chad Atalla, Emily Sheng, Dan Vann, Richard Edgar, Hamid Palangi, Roman Lutz, Hongliang Kong, Vincent Yun, Eslam Kamal, Federico Zarfati, Hanna Wallach, Sarah Bird, Mei Chen
cs.AI
초록
우리는 대규모 언어 모델(LLM) 및 관련 제품과 서비스에 대한 책임감 있는 AI(RAI) 지표의 자동화된 측정을 위한 프레임워크를 제시한다. LLM으로 인한 피해를 자동으로 측정하기 위한 우리의 프레임워크는 기존의 기술적 및 사회기술적 전문 지식을 기반으로 하며, GPT-4와 같은 최첨단 LLM의 능력을 활용한다. 우리는 이 프레임워크를 사용하여 다양한 LLM이 여러 RAI 관련 원칙을 어떻게 위반할 수 있는지 조사하는 여러 사례 연구를 진행한다. 이 프레임워크는 향후 새로운 피해 영역에 대한 측정을 생성하기 위해 도메인별 사회기술적 전문 지식과 함께 사용될 수 있다. 이 프레임워크를 구현함으로써, 우리는 더 발전된 피해 측정 노력을 가능하게 하고 LLM의 책임감 있는 사용을 더욱 촉진하고자 한다.
English
We present a framework for the automated measurement of responsible AI (RAI)
metrics for large language models (LLMs) and associated products and services.
Our framework for automatically measuring harms from LLMs builds on existing
technical and sociotechnical expertise and leverages the capabilities of
state-of-the-art LLMs, such as GPT-4. We use this framework to run through
several case studies investigating how different LLMs may violate a range of
RAI-related principles. The framework may be employed alongside domain-specific
sociotechnical expertise to create measurements for new harm areas in the
future. By implementing this framework, we aim to enable more advanced harm
measurement efforts and further the responsible use of LLMs.