Использование новых API GPT-4

Exploiting Novel GPT-4 APIs

December 21, 2023

Авторы: Kellin Pelrine, Mohammad Taufeeque, Michał Zając, Euan McLean, Adam Gleave

cs.AI

Аннотация

Атаки на языковые модели обычно предполагают одну из двух крайних моделей угроз: полный белый доступ к весам модели или черный доступ, ограниченный API генерации текста. Однако реальные API часто более гибкие, чем просто генерация текста: они предоставляют «серый» доступ, что открывает новые векторы атак. Чтобы изучить это, мы провели тестирование на проникновение трех новых функций, доступных в API GPT-4: тонкая настройка, вызов функций и извлечение знаний. Мы обнаружили, что тонкая настройка модели на всего 15 вредоносных или 100 безвредных примеров может удалить ключевые защитные механизмы GPT-4, позволяя генерировать вредоносные выходные данные. Кроме того, мы выяснили, что помощники GPT-4 легко раскрывают схему вызова функций и могут быть использованы для выполнения произвольных вызовов функций. Наконец, мы обнаружили, что извлечение знаний может быть перехвачено путем внедрения инструкций в документы для извлечения. Эти уязвимости подчеркивают, что любые дополнения к функциональности, предоставляемой API, могут создавать новые уязвимости.

English

Language model attacks typically assume one of two extreme threat models: full white-box access to model weights, or black-box access limited to a text generation API. However, real-world APIs are often more flexible than just text generation: these APIs expose ``gray-box'' access leading to new threat vectors. To explore this, we red-team three new functionalities exposed in the GPT-4 APIs: fine-tuning, function calling and knowledge retrieval. We find that fine-tuning a model on as few as 15 harmful examples or 100 benign examples can remove core safeguards from GPT-4, enabling a range of harmful outputs. Furthermore, we find that GPT-4 Assistants readily divulge the function call schema and can be made to execute arbitrary function calls. Finally, we find that knowledge retrieval can be hijacked by injecting instructions into retrieval documents. These vulnerabilities highlight that any additions to the functionality exposed by an API can create new vulnerabilities.