Roubando Parte de um Modelo de Linguagem de Produção

Resumo

Apresentamos o primeiro ataque de roubo de modelo que extrai informações precisas e não triviais de modelos de linguagem de produção em caixa preta, como o ChatGPT da OpenAI ou o PaLM-2 da Google. Especificamente, nosso ataque recupera a camada de projeção de embeddings (até simetrias) de um modelo transformer, dado o acesso típico à API. Por menos de 20 dólares, nosso ataque extrai toda a matriz de projeção dos modelos de linguagem Ada e Babbage da OpenAI. Com isso, confirmamos, pela primeira vez, que esses modelos em caixa preta possuem uma dimensão oculta de 1024 e 2048, respectivamente. Também recuperamos o tamanho exato da dimensão oculta do modelo gpt-3.5-turbo e estimamos que custaria menos de 2.000 dólares em consultas para recuperar toda a matriz de projeção. Concluímos com possíveis defesas e mitigações, e discutimos as implicações de trabalhos futuros que poderiam estender nosso ataque.

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.

Roubando Parte de um Modelo de Linguagem de Produção

Stealing Part of a Production Language Model

Resumo

Support