Кража части языковой модели производства

Аннотация

Мы представляем первую атаку по краже модели, которая извлекает точную, нетривиальную информацию из черного ящика производственных языковых моделей, таких как ChatGPT от OpenAI или PaLM-2 от Google. Конкретно, наша атака восстанавливает слой вложения проекции (до симметрий) модели трансформера при типичном доступе к API. За сумму менее 20 долларов США наша атака извлекает полную матрицу проекции языковых моделей Ada и Babbage от OpenAI. Таким образом, мы подтверждаем впервые, что у этих черных ящиков есть скрытая размерность 1024 и 2048 соответственно. Мы также восстанавливаем точный размер скрытой размерности модели gpt-3.5-turbo и оцениваем, что стоимость извлечения полной матрицы проекции составит менее 2 000 запросов. Мы заканчиваем потенциальными защитными мерами и смягчениями, обсуждаем последствия возможных будущих работ, которые могут расширить нашу атаку.

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.

Кража части языковой модели производства

Stealing Part of a Production Language Model

Аннотация

Summary

Support

Support