オープンファウンデーションモデルの社会的影響について

On the Societal Impact of Open Foundation Models

February 27, 2024

著者: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan

cs.AI

要旨

基盤モデルは強力な技術であり、その公開方法は直接的に社会的影響を形作る。本ポジションペーパーでは、広く利用可能なモデルウェイト（例：Llama 2、Stable Diffusion XL）を持つオープン基盤モデルに焦点を当てる。我々は、オープン基盤モデルが持つ5つの特徴的な特性（例：高いカスタマイズ性、監視の不十分さ）を特定し、それらがもたらす利点とリスクを明らかにする。オープン基盤モデルは、イノベーション、競争、意思決定権力の分散、透明性といった領域において、いくつかの注意点を伴いながらも、重要な利点を提供する。誤用リスクを理解するために、我々はその限界的リスクを分析するためのリスク評価フレームワークを設計した。いくつかの誤用ベクトル（例：サイバー攻撃、生物兵器）において、既存の技術と比較したオープン基盤モデルの限界的リスクを効果的に特徴付けるための現在の研究は不十分であることがわかった。このフレームワークは、限界的リスクが低い場合の理由を説明し、過去の研究が異なる前提に基づいてフレームワークの異なる部分に焦点を当てていたことを明らかにすることで、誤用リスクに関する意見の相違を解消し、より建設的な議論の進め方を提示する。全体として、我々の研究は、オープン基盤モデルの理論的利点とリスクを実証的に検証するために必要な研究を概説することで、その社会的影響をより根拠に基づいて評価するための支援を提供する。

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.