Zur gesellschaftlichen Auswirkung offener Grundlagenmodelle
On the Societal Impact of Open Foundation Models
February 27, 2024
Autoren: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan
cs.AI
Zusammenfassung
Grundlagenmodelle sind leistungsstarke Technologien: Wie sie öffentlich freigegeben werden, prägt direkt ihre gesellschaftliche Auswirkung. In diesem Positionspapier konzentrieren wir uns auf offene Grundlagenmodelle, die hier als solche mit weit verbreiteten Modellgewichten definiert sind (z. B. Llama 2, Stable Diffusion XL). Wir identifizieren fünf charakteristische Eigenschaften (z. B. höhere Anpassungsfähigkeit, schlechte Überwachung) offener Grundlagenmodelle, die sowohl zu ihren Vorteilen als auch Risiken führen. Offene Grundlagenmodelle bieten erhebliche Vorteile, jedoch mit einigen Einschränkungen, die Innovation, Wettbewerb, die Verteilung von Entscheidungsbefugnissen und Transparenz umfassen. Um ihre Missbrauchsrisiken zu verstehen, entwerfen wir einen Risikobewertungsrahmen zur Analyse ihres marginalen Risikos. Über mehrere Missbrauchsbereiche (z. B. Cyberangriffe, Biowaffen) hinweg stellen wir fest, dass aktuelle Forschung unzureichend ist, um das marginale Risiko offener Grundlagenmodelle im Vergleich zu bereits bestehenden Technologien effektiv zu charakterisieren. Der Rahmen hilft zu erklären, warum das marginale Risiko in einigen Fällen gering ist, klärt Meinungsverschiedenheiten über Missbrauchsrisiken, indem er aufzeigt, dass frühere Arbeiten sich auf verschiedene Teilmengen des Rahmens mit unterschiedlichen Annahmen konzentriert haben, und skizziert einen Weg für konstruktivere Debatten. Insgesamt trägt unsere Arbeit dazu bei, eine fundiertere Bewertung der gesellschaftlichen Auswirkungen offener Grundlagenmodelle zu unterstützen, indem sie darlegt, welche Forschung erforderlich ist, um ihre theoretischen Vorteile und Risiken empirisch zu validieren.
English
Foundation models are powerful technologies: how they are released publicly
directly shapes their societal impact. In this position paper, we focus on open
foundation models, defined here as those with broadly available model weights
(e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties
(e.g. greater customizability, poor monitoring) of open foundation models that
lead to both their benefits and risks. Open foundation models present
significant benefits, with some caveats, that span innovation, competition, the
distribution of decision-making power, and transparency. To understand their
risks of misuse, we design a risk assessment framework for analyzing their
marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons),
we find that current research is insufficient to effectively characterize the
marginal risk of open foundation models relative to pre-existing technologies.
The framework helps explain why the marginal risk is low in some cases,
clarifies disagreements about misuse risks by revealing that past work has
focused on different subsets of the framework with different assumptions, and
articulates a way forward for more constructive debate. Overall, our work helps
support a more grounded assessment of the societal impact of open foundation
models by outlining what research is needed to empirically validate their
theoretical benefits and risks.Summary
AI-Generated Summary