Disponibilização de Modelos Fundamentais Altamente Capazes: Uma avaliação dos riscos, benefícios e métodos alternativos para alcançar objetivos de código aberto

Open-Sourcing Highly Capable Foundation Models: An evaluation of risks, benefits, and alternative methods for pursuing open-source objectives

September 29, 2023

Autores: Elizabeth Seger, Noemi Dreksler, Richard Moulange, Emily Dardaman, Jonas Schuett, K. Wei, Christoph Winter, Mackenzie Arnold, Seán Ó hÉigeartaigh, Anton Korinek, Markus Anderljung, Ben Bucknall, Alan Chan, Eoghan Stafford, Leonie Koessler, Aviv Ovadya, Ben Garfinkel, Emma Bluemke, Michael Aird, Patrick Levermore, Julian Hazell, Abhishek Gupta

cs.AI

Resumo

Decisões recentes de laboratórios líderes em IA de abrir o código de seus modelos ou restringir o acesso a eles têm gerado debates sobre se, e como, modelos de IA cada vez mais capazes devem ser compartilhados. O código aberto em IA geralmente se refere à disponibilização pública e gratuita da arquitetura e dos pesos dos modelos, permitindo que qualquer pessoa os modifique, estude, desenvolva e utilize. Isso oferece vantagens, como possibilitar supervisão externa, acelerar o progresso e descentralizar o controle sobre o desenvolvimento e o uso da IA. No entanto, também apresenta um potencial crescente de uso indevido e consequências não intencionais. Este artigo examina os riscos e benefícios de abrir o código de modelos de base altamente capazes. Embora o código aberto historicamente tenha proporcionado benefícios líquidos substanciais para a maioria dos processos de desenvolvimento de software e IA, argumentamos que, para alguns modelos de base altamente capazes que provavelmente serão desenvolvidos em um futuro próximo, abrir o código pode representar riscos suficientemente extremos para superar os benefícios. Nesses casos, modelos de base altamente capazes não devem ter seu código aberto, pelo menos não inicialmente. Estratégias alternativas, incluindo opções de compartilhamento de modelos que não sejam de código aberto, são exploradas. O artigo conclui com recomendações para desenvolvedores, órgãos de padronização e governos para estabelecer práticas seguras e responsáveis de compartilhamento de modelos e preservar os benefícios do código aberto onde for seguro.

English

Recent decisions by leading AI labs to either open-source their models or to restrict access to their models has sparked debate about whether, and how, increasingly capable AI models should be shared. Open-sourcing in AI typically refers to making model architecture and weights freely and publicly accessible for anyone to modify, study, build on, and use. This offers advantages such as enabling external oversight, accelerating progress, and decentralizing control over AI development and use. However, it also presents a growing potential for misuse and unintended consequences. This paper offers an examination of the risks and benefits of open-sourcing highly capable foundation models. While open-sourcing has historically provided substantial net benefits for most software and AI development processes, we argue that for some highly capable foundation models likely to be developed in the near future, open-sourcing may pose sufficiently extreme risks to outweigh the benefits. In such a case, highly capable foundation models should not be open-sourced, at least not initially. Alternative strategies, including non-open-source model sharing options, are explored. The paper concludes with recommendations for developers, standard-setting bodies, and governments for establishing safe and responsible model sharing practices and preserving open-source benefits where safe.