Sull'Impatto Sociale dei Modelli Fondamentali Aperti

Abstract

I modelli di base sono tecnologie potenti: il modo in cui vengono rilasciati pubblicamente influenza direttamente il loro impatto sociale. In questo position paper, ci concentriamo sui modelli di base aperti, definiti qui come quelli con pesi del modello ampiamente disponibili (ad esempio, Llama 2, Stable Diffusion XL). Identifichiamo cinque proprietà distintive (ad esempio, maggiore personalizzabilità, monitoraggio insufficiente) dei modelli di base aperti che portano sia ai loro benefici che ai loro rischi. I modelli di base aperti presentano significativi benefici, con alcune avvertenze, che abbracciano l'innovazione, la concorrenza, la distribuzione del potere decisionale e la trasparenza. Per comprendere i loro rischi di uso improprio, progettiamo un framework di valutazione del rischio per analizzare il loro rischio marginale. Attraverso diversi vettori di uso improprio (ad esempio, attacchi informatici, armi biologiche), scopriamo che la ricerca attuale è insufficiente per caratterizzare efficacemente il rischio marginale dei modelli di base aperti rispetto alle tecnologie preesistenti. Il framework aiuta a spiegare perché il rischio marginale è basso in alcuni casi, chiarisce i disaccordi sui rischi di uso improprio rivelando che i lavori precedenti si sono concentrati su diversi sottoinsiemi del framework con diverse ipotesi, e articola una via da seguire per un dibattito più costruttivo. Nel complesso, il nostro lavoro contribuisce a supportare una valutazione più fondata dell'impatto sociale dei modelli di base aperti delineando la ricerca necessaria per convalidare empiricamente i loro benefici e rischi teorici.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

Sull'Impatto Sociale dei Modelli Fondamentali Aperti

On the Societal Impact of Open Foundation Models

Abstract

Support