Split-LLM 훈련에서의 프라이버시 실패: 반환된 그래디언트가 디코이를 무력화한다

초록

본 논문은 관측 가능한 채널을 검사하지 않은 채 프라이버시 평가를 통과한 2-노드 분할 LLM 훈련 시스템에 대한 시스템 보안 사례 연구를 제시한다. 신뢰된 로컬 노드(TLN)는 신뢰되지 않는 클라우드 노드(UCN)로 보호된 활성화를 전송하고, UCN은 출력을 반환하며, 비공개 손실을 보유한 TLN은 출력 그래디언트를 반환한다. UCN이 수신하는 프레임은 실제 행과 디코이 행을 섞고, 손실 함수는 디코이 행을 무시한다. 디코이 행의 그래디언트는 정확히 0이므로, 0의 패턴은 어떤 행이 실제였는지 드러낸다. 우리는 사전에 고정된 프로토콜로 이를 측정한다. 즉, 측정 도구가 누출을 감지할 수 있음을 입증하기 위해 알려진 강도로 주입된 누출, 없는 누출을 보고하지 않음을 입증하기 위한 셔플된 레이블 대조군, 그리고 실행 전에 설정된 임계값을 사용한다. 아홉 개의 시드에 걸쳐, 0의 패턴은 실행당 4,096개 중 4,096개, 즉 모든 프레임에서 실제 행을 식별했다. 프레임 내용을 대상으로 한 공격은 상수 추측 기준선에 비해 백 토큰당 약 한 토큰을 추가로 복구했다(+0.65~+1.50퍼센트 포인트). 셔플된 대조군은 아무것도 복구하지 못했다. 두 번째 실행 세트는 모델 품질을 허용 품질 범위 내로 유지하는 구성에서 이 결과를 반복했으며, 따라서 이 발견은 아무도 배포하지 않을 환경에 국한되지 않는다. 두 데이터셋 모두에서 이러한 모든 실행은 순방향 채널 프라이버시 검사와 품질 검사를 통과했지만, 반환된 그래디언트가 포함되면 동일한 프라이버시 검사에서 실패했다. 그래디언트의 각 행을 클리핑하고 노이즈를 추가하면 홀드아웃 교차 엔트로피 약 0.01 nats의 비용으로 누출이 차단되었다. 그렇다고 시스템이 안전해지는 것은 아니다. 훈련 단계에 걸쳐 관측을 축적하는 공격을 포함한 다섯 가지 공격 부류는 측정된 적이 없다.

English

We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while leaving an observable channel untested. The Trusted Local Node (TLN) sends protected activations to the Untrusted Cloud Node (UCN), the UCN returns its output, and TLN, holding the private loss, returns the output gradient. The frame the UCN receives mixes real rows with decoys, and the loss ignores the decoys. Their gradients are exactly zero, so the pattern of zeros reveals which rows were real. We measure it with a protocol fixed in advance: a leak injected at known strength to prove the instrument can see one, a shuffled-label control to prove it does not report absent leaks, and a threshold set before the runs. Across nine seeds, the zeros identified the real rows on every frame, 4,096 of 4,096 per run. An attack on the frame contents recovered about one extra token per hundred over a constant-guess baseline (+0.65 to +1.50 percentage points); the shuffled controls recovered nothing. A second set of runs repeated this on a configuration that keeps model quality within budget, so the finding is not confined to a setting nobody would deploy. On both datasets, every such run passed the forward-channel privacy check and the quality check, yet failed that same check once the returned gradient was included. Clipping and noising each row of the gradient closed the leak for about 0.01 nats of held-out cross-entropy. The system is not thereby safe: five classes of attack, including those accumulating observations across training steps, were never measured.