生産用言語モデルの一部を盗用する

Stealing Part of a Production Language Model

March 11, 2024

著者: Nicholas Carlini, Daniel Paleka, Krishnamurthy Dj Dvijotham, Thomas Steinke, Jonathan Hayase, A. Feder Cooper, Katherine Lee, Matthew Jagielski, Milad Nasr, Arthur Conmy, Eric Wallace, David Rolnick, Florian Tramèr

cs.AI

要旨

本論文では、OpenAIのChatGPTやGoogleのPaLM-2のようなブラックボックス型の実用言語モデルから、正確で非自明な情報を抽出する初めてのモデル窃取攻撃を紹介する。具体的には、典型的なAPIアクセスを前提として、トランスフォーマーモデルの埋め込み射影層（対称性を除いて）を復元する攻撃を提案する。20ドル未満のコストで、OpenAIのAdaおよびBabbage言語モデルの射影行列全体を抽出することに成功し、これらのブラックボックスモデルの隠れ次元がそれぞれ1024および2048であることを初めて確認した。また、gpt-3.5-turboモデルの正確な隠れ次元サイズも復元し、射影行列全体を復元するためのクエリコストが2000ドル未満であると推定した。最後に、潜在的な防御策と緩和策を提示し、本攻撃を拡張する可能性のある今後の研究の意義について議論する。

English

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the embedding projection layer (up to symmetries) of a transformer model, given typical API access. For under \20 USD, our attack extracts the entire projection matrix of OpenAI's Ada and Babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under 2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.