Sobre o Impacto Social dos Modelos Fundamentais Abertos

Resumo

Modelos de base são tecnologias poderosas: a forma como são lançados publicamente molda diretamente seu impacto social. Neste artigo de posicionamento, focamos em modelos de base abertos, definidos aqui como aqueles com pesos de modelo amplamente disponíveis (por exemplo, Llama 2, Stable Diffusion XL). Identificamos cinco propriedades distintas (por exemplo, maior personalização, monitoramento deficiente) dos modelos de base abertos que levam tanto a seus benefícios quanto a seus riscos. Os modelos de base abertos apresentam benefícios significativos, com algumas ressalvas, que abrangem inovação, competição, a distribuição do poder de decisão e transparência. Para entender seus riscos de uso indevido, projetamos uma estrutura de avaliação de riscos para analisar seu risco marginal. Em vários vetores de uso indevido (por exemplo, ciberataques, armas biológicas), descobrimos que a pesquisa atual é insuficiente para caracterizar efetivamente o risco marginal dos modelos de base abertos em relação às tecnologias pré-existentes. A estrutura ajuda a explicar por que o risco marginal é baixo em alguns casos, esclarece discordâncias sobre os riscos de uso indevido ao revelar que trabalhos anteriores se concentraram em diferentes subconjuntos da estrutura com diferentes suposições e articula um caminho a seguir para um debate mais construtivo. No geral, nosso trabalho ajuda a apoiar uma avaliação mais fundamentada do impacto social dos modelos de base abertos ao delinear quais pesquisas são necessárias para validar empiricamente seus benefícios e riscos teóricos.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

Sobre o Impacto Social dos Modelos Fundamentais Abertos

On the Societal Impact of Open Foundation Models

Resumo

Support