Over de Maatschappelijke Impact van Open Foundation Models

Samenvatting

Foundation models zijn krachtige technologieën: de manier waarop ze openbaar worden vrijgegeven, bepaalt direct hun maatschappelijke impact. In dit position paper richten we ons op open foundation models, hier gedefinieerd als modellen met breed beschikbare modelgewichten (bijv. Llama 2, Stable Diffusion XL). We identificeren vijf onderscheidende eigenschappen (bijv. grotere aanpasbaarheid, slechte monitoring) van open foundation models die zowel hun voordelen als risico's veroorzaken. Open foundation models bieden aanzienlijke voordelen, met enkele kanttekeningen, die zich uitstrekken over innovatie, concurrentie, de verdeling van beslissingsmacht en transparantie. Om hun risico's van misbruik te begrijpen, ontwikkelen we een risicobeoordelingskader voor het analyseren van hun marginale risico. Over verschillende misbruikvectoren (bijv. cyberaanvallen, biowapens) stellen we vast dat huidig onderzoek onvoldoende is om het marginale risico van open foundation models effectief te karakteriseren ten opzichte van bestaande technologieën. Het kader helpt verklaren waarom het marginale risico in sommige gevallen laag is, verduidelijkt meningsverschillen over misbruikrisico's door aan te tonen dat eerder werk zich heeft gericht op verschillende subsets van het kader met verschillende aannames, en formuleert een manier voor een constructiever debat. Over het algemeen helpt ons werk bij het ondersteunen van een meer gefundeerde beoordeling van de maatschappelijke impact van open foundation models door te schetsen welk onderzoek nodig is om hun theoretische voordelen en risico's empirisch te valideren.

English

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

Over de Maatschappelijke Impact van Open Foundation Models

On the Societal Impact of Open Foundation Models

Samenvatting

Support