AGI 안전성과 거버넌스의 모범 사례를 향하여: 전문가 의견 조사

Towards best practices in AGI safety and governance: A survey of expert opinion

May 11, 2023

저자: Jonas Schuett, Noemi Dreksler, Markus Anderljung, David McCaffary, Lennart Heim, Emma Bluemke, Ben Garfinkel

cs.AI

초록

OpenAI, Google DeepMind, Anthropic를 비롯한 여러 주요 AI 기업들은 광범위한 인지 작업에서 인간의 성능을 달성하거나 능가하는 인공 일반 지능(AGI) 시스템을 구축하는 것을 명시된 목표로 삼고 있습니다. 이러한 목표를 추구하는 과정에서, 특히 중대한 위험을 초래할 수 있는 AI 시스템을 개발하고 배포할 가능성이 있습니다. 이러한 위험을 완화하기 위해 이미 일부 조치를 취했지만, 아직까지는 모범 사례가 정립되지 않았습니다. 모범 사례를 식별하는 데 기여하기 위해, 우리는 AGI 연구소, 학계, 시민 사회의 주요 전문가 92명에게 설문조사를 보내 51개의 응답을 받았습니다. 참가자들은 AGI 연구소가 해야 할 일에 대한 50가지 진술에 대해 어느 정도 동의하는지 질문받았습니다. 우리의 주요 발견은 참가자들이 평균적으로 모든 진술에 동의했다는 것입니다. 많은 진술이 극도로 높은 동의 수준을 받았습니다. 예를 들어, 응답자의 98%가 AGI 연구소가 배포 전 위험 평가, 위험한 능력 평가, 제3자 모델 감사, 모델 사용에 대한 안전 제한, 레드 팀 테스트를 수행해야 한다는 데 어느 정도 또는 강하게 동의했습니다. 궁극적으로, 우리의 진술 목록은 AGI 연구소를 위한 모범 사례, 표준, 규제를 개발하려는 노력에 유용한 기초로 작용할 수 있을 것입니다.

English

A number of leading AI companies, including OpenAI, Google DeepMind, and Anthropic, have the stated goal of building artificial general intelligence (AGI) - AI systems that achieve or exceed human performance across a wide range of cognitive tasks. In pursuing this goal, they may develop and deploy AI systems that pose particularly significant risks. While they have already taken some measures to mitigate these risks, best practices have not yet emerged. To support the identification of best practices, we sent a survey to 92 leading experts from AGI labs, academia, and civil society and received 51 responses. Participants were asked how much they agreed with 50 statements about what AGI labs should do. Our main finding is that participants, on average, agreed with all of them. Many statements received extremely high levels of agreement. For example, 98% of respondents somewhat or strongly agreed that AGI labs should conduct pre-deployment risk assessments, dangerous capabilities evaluations, third-party model audits, safety restrictions on model usage, and red teaming. Ultimately, our list of statements may serve as a helpful foundation for efforts to develop best practices, standards, and regulations for AGI labs.