오픈 파운데이션 모델의 사회적 영향에 관하여

On the Societal Impact of Open Foundation Models

February 27, 2024

저자: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan

cs.AI

초록

파운데이션 모델은 강력한 기술입니다: 이들이 공개적으로 출시되는 방식은 그들의 사회적 영향력을 직접적으로 형성합니다. 본 입장 문서에서 우리는 개방형 파운데이션 모델에 초점을 맞추며, 여기서는 모델 가중치가 광범위하게 공개된 모델(예: Llama 2, Stable Diffusion XL)로 정의합니다. 우리는 개방형 파운데이션 모델의 장점과 위험을 초래하는 다섯 가지 독특한 특성(예: 더 큰 맞춤화 가능성, 약한 모니터링)을 식별합니다. 개방형 파운데이션 모델은 혁신, 경쟁, 의사결정 권력의 분배, 투명성에 걸쳐 상당한 이점을 제공하지만 몇 가지 주의 사항도 있습니다. 오용 위험을 이해하기 위해 우리는 이들의 한계 위험을 분석하기 위한 위험 평가 프레임워크를 설계합니다. 여러 오용 벡터(예: 사이버 공격, 생물무기)에 걸쳐, 우리는 현재 연구가 기존 기술에 비해 개방형 파운데이션 모델의 한계 위험을 효과적으로 특정하기에는 불충분하다는 것을 발견합니다. 이 프레임워크는 왜 일부 경우에 한계 위험이 낮은지를 설명하는 데 도움을 주며, 과거 연구가 서로 다른 가정과 프레임워크의 서로 다른 부분에 초점을 맞추어 왔음을 밝힘으로써 오용 위험에 대한 논쟁을 명확히 하고, 더 건설적인 논의를 위한 방향을 제시합니다. 전반적으로, 우리의 작업은 개방형 파운데이션 모델의 이론적 이점과 위험을 실증적으로 검증하기 위해 필요한 연구를 개괄함으로써, 이들의 사회적 영향력에 대한 더 근거 있는 평가를 지원하는 데 기여합니다.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.