위험한 능력에 대한 최첨단 모델 평가

Evaluating Frontier Models for Dangerous Capabilities

March 20, 2024

저자: Mary Phuong, Matthew Aitchison, Elliot Catt, Sarah Cogan, Alexandre Kaskasoli, Victoria Krakovna, David Lindner, Matthew Rahtz, Yannis Assael, Sarah Hodkinson, Heidi Howard, Tom Lieberum, Ramana Kumar, Maria Abi Raad, Albert Webson, Lewis Ho, Sharon Lin, Sebastian Farquhar, Marcus Hutter, Gregoire Deletang, Anian Ruoss, Seliem El-Sayed, Sasha Brown, Anca Dragan, Rohin Shah, Allan Dafoe, Toby Shevlane

cs.AI

초록

새로운 AI 시스템이 초래할 위험을 이해하기 위해서는 그 시스템이 할 수 있는 것과 할 수 없는 것을 이해해야 합니다. 선행 연구를 바탕으로, 우리는 새로운 "위험한 능력" 평가 프로그램을 도입하고 이를 Gemini 1.0 모델에 시범 적용했습니다. 우리의 평가는 네 가지 영역을 다룹니다: (1) 설득과 기만; (2) 사이버 보안; (3) 자기 확산; 그리고 (4) 자기 추론. 평가한 모델에서 강력한 위험한 능력의 증거는 발견하지 못했지만, 초기 경고 신호를 표시했습니다. 우리의 목표는 미래 모델을 대비하여 위험한 능력 평가의 엄밀한 과학을 발전시키는 데 기여하는 것입니다.

English

To understand the risks posed by a new AI system, we must understand what it can and cannot do. Building on prior work, we introduce a programme of new "dangerous capability" evaluations and pilot them on Gemini 1.0 models. Our evaluations cover four areas: (1) persuasion and deception; (2) cyber-security; (3) self-proliferation; and (4) self-reasoning. We do not find evidence of strong dangerous capabilities in the models we evaluated, but we flag early warning signs. Our goal is to help advance a rigorous science of dangerous capability evaluation, in preparation for future models.