Sobre el Impacto Social de los Modelos Fundacionales Abiertos
On the Societal Impact of Open Foundation Models
February 27, 2024
Autores: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan
cs.AI
Resumen
Los modelos fundacionales son tecnologías poderosas: cómo se lanzan públicamente influye directamente en su impacto social. En este documento de posición, nos enfocamos en los modelos fundacionales abiertos, definidos aquí como aquellos con pesos de modelo ampliamente disponibles (por ejemplo, Llama 2, Stable Diffusion XL). Identificamos cinco propiedades distintivas (por ejemplo, mayor personalización, monitoreo deficiente) de los modelos fundacionales abiertos que conducen tanto a sus beneficios como a sus riesgos. Los modelos fundacionales abiertos presentan beneficios significativos, con algunas advertencias, que abarcan la innovación, la competencia, la distribución del poder de toma de decisiones y la transparencia. Para comprender sus riesgos de uso indebido, diseñamos un marco de evaluación de riesgos para analizar su riesgo marginal. A través de varios vectores de uso indebido (por ejemplo, ciberataques, armas biológicas), encontramos que la investigación actual es insuficiente para caracterizar efectivamente el riesgo marginal de los modelos fundacionales abiertos en comparación con las tecnologías preexistentes. El marco ayuda a explicar por qué el riesgo marginal es bajo en algunos casos, aclara desacuerdos sobre los riesgos de uso indebido al revelar que trabajos anteriores se han centrado en diferentes subconjuntos del marco con diferentes suposiciones, y articula una forma de avanzar hacia un debate más constructivo. En general, nuestro trabajo ayuda a respaldar una evaluación más fundamentada del impacto social de los modelos fundacionales abiertos al delinear qué investigación es necesaria para validar empíricamente sus beneficios y riesgos teóricos.
English
Foundation models are powerful technologies: how they are released publicly
directly shapes their societal impact. In this position paper, we focus on open
foundation models, defined here as those with broadly available model weights
(e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties
(e.g. greater customizability, poor monitoring) of open foundation models that
lead to both their benefits and risks. Open foundation models present
significant benefits, with some caveats, that span innovation, competition, the
distribution of decision-making power, and transparency. To understand their
risks of misuse, we design a risk assessment framework for analyzing their
marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons),
we find that current research is insufficient to effectively characterize the
marginal risk of open foundation models relative to pre-existing technologies.
The framework helps explain why the marginal risk is low in some cases,
clarifies disagreements about misuse risks by revealing that past work has
focused on different subsets of the framework with different assumptions, and
articulates a way forward for more constructive debate. Overall, our work helps
support a more grounded assessment of the societal impact of open foundation
models by outlining what research is needed to empirically validate their
theoretical benefits and risks.Summary
AI-Generated Summary