Sur l'Impact Sociétal des Modèles de Fondation Ouverts

On the Societal Impact of Open Foundation Models

February 27, 2024

Auteurs: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan

cs.AI

Résumé

Les modèles de fondation sont des technologies puissantes : la manière dont ils sont rendus publics influence directement leur impact sociétal. Dans cet article de position, nous nous concentrons sur les modèles de fondation ouverts, définis ici comme ceux dont les poids du modèle sont largement disponibles (par exemple, Llama 2, Stable Diffusion XL). Nous identifions cinq propriétés distinctives (par exemple, une plus grande personnalisation, un suivi insuffisant) des modèles de fondation ouverts qui engendrent à la fois leurs avantages et leurs risques. Les modèles de fondation ouverts présentent des avantages significatifs, avec certaines réserves, qui touchent à l'innovation, à la concurrence, à la répartition du pouvoir décisionnel et à la transparence. Pour comprendre leurs risques de détournement, nous concevons un cadre d'évaluation des risques pour analyser leur risque marginal. À travers plusieurs vecteurs de détournement (par exemple, cyberattaques, armes biologiques), nous constatons que la recherche actuelle est insuffisante pour caractériser efficacement le risque marginal des modèles de fondation ouverts par rapport aux technologies préexistantes. Le cadre permet d'expliquer pourquoi le risque marginal est faible dans certains cas, clarifie les désaccords sur les risques de détournement en révélant que les travaux antérieurs se sont concentrés sur différents sous-ensembles du cadre avec des hypothèses différentes, et propose une voie pour un débat plus constructif. Globalement, notre travail contribue à une évaluation plus fondée de l'impact sociétal des modèles de fondation ouverts en décrivant les recherches nécessaires pour valider empiriquement leurs avantages et risques théoriques.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.