Diebstahl eines Teils eines Produktions-Sprachmodells

Stealing Part of a Production Language Model

March 11, 2024

Autoren: Nicholas Carlini, Daniel Paleka, Krishnamurthy Dj Dvijotham, Thomas Steinke, Jonathan Hayase, A. Feder Cooper, Katherine Lee, Matthew Jagielski, Milad Nasr, Arthur Conmy, Eric Wallace, David Rolnick, Florian Tramèr

cs.AI

Zusammenfassung

Wir stellen den ersten Modell-Diebstahl-Angriff vor, der präzise, nicht-triviale Informationen aus Black-Box-Produktions-Sprachmodellen wie OpenAI's ChatGPT oder Google's PaLM-2 extrahiert. Speziell stellt unser Angriff die Einbettungsprojektionsschicht (bis zu Symmetrien) eines Transformer-Modells wieder her, unter Verwendung eines typischen API-Zugriffs. Für weniger als 20 USD extrahiert unser Angriff die gesamte Projektionsmatrix der OpenAI-Modelle Ada und Babbage. Damit bestätigen wir erstmals, dass diese Black-Box-Modelle jeweils eine verborgene Dimension von 1024 bzw. 2048 haben. Wir stellen auch die genaue Größe der verborgenen Dimension des Modells gpt-3.5-turbo wieder her und schätzen, dass es weniger als 2.000 Abfragen kosten würde, um die gesamte Projektionsmatrix wiederherzustellen. Wir schließen mit potenziellen Abwehrmaßnahmen und Minderungsstrategien ab und diskutieren die Auswirkungen möglicher zukünftiger Arbeiten, die unseren Angriff erweitern könnten.

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.