Voler une partie d'un modèle de langage de production

Stealing Part of a Production Language Model

March 11, 2024

Auteurs: Nicholas Carlini, Daniel Paleka, Krishnamurthy Dj Dvijotham, Thomas Steinke, Jonathan Hayase, A. Feder Cooper, Katherine Lee, Matthew Jagielski, Milad Nasr, Arthur Conmy, Eric Wallace, David Rolnick, Florian Tramèr

cs.AI

Résumé

Nous présentons la première attaque de vol de modèle capable d'extraire des informations précises et non triviales de modèles de langage en boîte noire en production, tels que ChatGPT d'OpenAI ou PaLM-2 de Google. Plus précisément, notre attaque permet de récupérer la couche de projection des embeddings (à des symétries près) d'un modèle de type transformer, en ayant uniquement un accès typique à l'API. Pour moins de 20 USD, notre attaque extrait la matrice de projection complète des modèles de langage Ada et Babbage d'OpenAI. Nous confirmons ainsi, pour la première fois, que ces modèles en boîte noire ont une dimension cachée de 1024 et 2048, respectivement. Nous récupérons également la taille exacte de la dimension cachée du modèle gpt-3.5-turbo, et estimons qu'il coûterait moins de 2000 USD en requêtes pour extraire l'intégralité de sa matrice de projection. Nous concluons en proposant des défenses et des mesures d'atténuation potentielles, et discutons des implications de travaux futurs qui pourraient étendre notre attaque.

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.