Split-LLM学習におけるプライバシー保護の失敗：返送された勾配はデコイを無効化する

要旨

本稿では、観測可能なチャネルをテストしないままプライバシー評価に合格した、2ノード分割LLMトレーニングシステムに関するシステムセキュリティの事例研究を提示する。信頼済みローカルノード（TLN）は保護されたアクティベーションを非信頼クラウドノード（UCN）へ送信し、UCNはその出力を返す。プライベートな損失を保持するTLNは、出力勾配を返す。UCNが受け取るフレームは実データの行とデコイを混在させており、損失関数はデコイを無視する。したがって、デコイの勾配は正確にゼロとなり、そのゼロのパターンによってどの行が実データであるかが明らかになる。我々はこの漏えいを、事前に固定したプロトコルで測定した。すなわち、測定器がリークを検出できることを示すための既知の強度で注入されたリーク、存在しないリークを報告しないことを示すためのラベルシャッフル対照実験、そして実行前に設定されたしきい値である。9つのシードにわたって、ゼロのパターンはすべてのフレームで実データの行を特定し、各実行で4,096個中4,096個を特定した。フレーム内容に対する攻撃は、一定推測ベースラインと比較して100トークンあたり約1トークン多くを復元し（+0.65〜+1.50パーセントポイント）、シャッフル対照実験では何も復元されなかった。2回目の一連の実行では、モデル品質を予算内に保つ構成でこれを繰り返し、この知見が誰もデプロイしないような設定に限定されないことを示した。両データセットにおいて、そのようなすべての実行はフォワードチャネルのプライバシチェックと品質チェックに合格したが、返された勾配を評価に含めると、同じプライバシチェックに不合格となった。勾配の各行にクリッピングとノイズ付加を行うと、保持データの交差エントロピー約0.01 natsのコストでリークが遮断された。しかし、これによってシステムが安全になるわけではない。トレーニングステップをまたいで観測を蓄積する攻撃を含む5つの攻撃クラスは、一度も測定されていない。

English

We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while leaving an observable channel untested. The Trusted Local Node (TLN) sends protected activations to the Untrusted Cloud Node (UCN), the UCN returns its output, and TLN, holding the private loss, returns the output gradient. The frame the UCN receives mixes real rows with decoys, and the loss ignores the decoys. Their gradients are exactly zero, so the pattern of zeros reveals which rows were real. We measure it with a protocol fixed in advance: a leak injected at known strength to prove the instrument can see one, a shuffled-label control to prove it does not report absent leaks, and a threshold set before the runs. Across nine seeds, the zeros identified the real rows on every frame, 4,096 of 4,096 per run. An attack on the frame contents recovered about one extra token per hundred over a constant-guess baseline (+0.65 to +1.50 percentage points); the shuffled controls recovered nothing. A second set of runs repeated this on a configuration that keeps model quality within budget, so the finding is not confined to a setting nobody would deploy. On both datasets, every such run passed the forward-channel privacy check and the quality check, yet failed that same check once the returned gradient was included. Clipping and noising each row of the gradient closed the leak for about 0.01 nats of held-out cross-entropy. The system is not thereby safe: five classes of attack, including those accumulating observations across training steps, were never measured.