Een deel van een productietaalmodel stelen

Samenvatting

We introduceren de eerste model-diefstal aanval die precieze, niet-triviale informatie extraheert uit black-box productie-taalmodellen zoals OpenAI's ChatGPT of Google's PaLM-2. Specifiek herstelt onze aanval de embedding-projectielaag (op symmetrieën na) van een transformer-model, gegeven typische API-toegang. Voor minder dan $20 USD extraheert onze aanval de volledige projectiematrix van OpenAI's Ada- en Babbage-taalmodellen. Hiermee bevestigen we voor het eerst dat deze black-box-modellen een verborgen dimensie hebben van respectievelijk 1024 en 2048. We herstellen ook de exacte grootte van de verborgen dimensie van het gpt-3.5-turbo model, en schatten in dat het minder dan $2000 aan queries zou kosten om de volledige projectiematrix te herstellen. We sluiten af met mogelijke verdedigings- en mitigatiestrategieën, en bespreken de implicaties van mogelijk toekomstig werk dat onze aanval zou kunnen uitbreiden.

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.

Een deel van een productietaalmodel stelen

Stealing Part of a Production Language Model

Samenvatting

Support