Évaluation des modèles de pointe pour leurs capacités dangereuses

Evaluating Frontier Models for Dangerous Capabilities

March 20, 2024

Auteurs: Mary Phuong, Matthew Aitchison, Elliot Catt, Sarah Cogan, Alexandre Kaskasoli, Victoria Krakovna, David Lindner, Matthew Rahtz, Yannis Assael, Sarah Hodkinson, Heidi Howard, Tom Lieberum, Ramana Kumar, Maria Abi Raad, Albert Webson, Lewis Ho, Sharon Lin, Sebastian Farquhar, Marcus Hutter, Gregoire Deletang, Anian Ruoss, Seliem El-Sayed, Sasha Brown, Anca Dragan, Rohin Shah, Allan Dafoe, Toby Shevlane

cs.AI

Résumé

Pour comprendre les risques posés par un nouveau système d'IA, nous devons comprendre ce qu'il peut et ne peut pas faire. En nous appuyant sur des travaux antérieurs, nous introduisons un programme de nouvelles évaluations des "capacités dangereuses" et les testons sur les modèles Gemini 1.0. Nos évaluations couvrent quatre domaines : (1) la persuasion et la tromperie ; (2) la cybersécurité ; (3) l'auto-prolifération ; et (4) l'auto-raisonnement. Nous ne trouvons pas de preuve de capacités dangereuses marquées dans les modèles évalués, mais nous signalons des signes avant-coureurs. Notre objectif est de contribuer à faire progresser une science rigoureuse de l'évaluation des capacités dangereuses, en préparation des futurs modèles.

English

To understand the risks posed by a new AI system, we must understand what it can and cannot do. Building on prior work, we introduce a programme of new "dangerous capability" evaluations and pilot them on Gemini 1.0 models. Our evaluations cover four areas: (1) persuasion and deception; (2) cyber-security; (3) self-proliferation; and (4) self-reasoning. We do not find evidence of strong dangerous capabilities in the models we evaluated, but we flag early warning signs. Our goal is to help advance a rigorous science of dangerous capability evaluation, in preparation for future models.