О влиянии открытых моделей фонда на общество

On the Societal Impact of Open Foundation Models

February 27, 2024

Авторы: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan

cs.AI

Аннотация

Фундаментальные модели - это мощные технологии: то, как они публично выпускаются, непосредственно формирует их общественное воздействие. В данной позиционной статье мы сосредотачиваемся на открытых фундаментальных моделях, определяемых здесь как те, у которых широко доступны веса моделей (например, Llama 2, Stable Diffusion XL). Мы выделяем пять характерных свойств (например, большая настраиваемость, недостаточный мониторинг) открытых фундаментальных моделей, которые приводят как к их преимуществам, так и к рискам. Открытые фундаментальные модели представляют значительные преимущества, с некоторыми оговорками, которые охватывают инновации, конкуренцию, распределение принятия решений и прозрачность. Для понимания рисков их неправильного использования мы разрабатываем рамочную оценку рисков для анализа их предельного риска. По нескольким векторам неправильного использования (например, кибератаки, биологическое оружие) мы приходим к выводу, что текущих исследований недостаточно для эффективной характеристики предельного риска открытых фундаментальных моделей по сравнению с существующими технологиями. Рамочная модель помогает объяснить, почему предельный риск в некоторых случаях низок, разъясняет разногласия относительно рисков неправильного использования, показывая, что предыдущие работы фокусировались на различных подмножествах рамочной модели с разными предположениями, и определяет путь к более конструктивному обсуждению. В целом, наша работа помогает поддержать более обоснованную оценку общественного воздействия открытых фундаментальных моделей, определяя, какие исследования необходимы для эмпирической проверки их теоретических преимуществ и рисков.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.