バッチ内データ窃取とモデル推論操作のためのアーキテクチャバックドア

Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

May 23, 2025

著者: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

cs.AI

要旨

過去10年にわたり、学術界ではニューラルネットワークのバックドアについて研究が進められてきたが、その主な焦点は分類タスクにおけるモデル予測の操作に限定されていた。これらの予測改変攻撃は明らかに悪意のあるものではあるが、現実世界での即時的影響は不明確なままであった。本論文では、アーキテクチャバックドアの最近の進展を基盤とした、新規かつより強力なバックドアクラスを紹介する。これらのバックドアが、ハードウェア利用率向上のための一般的な技術であるバッチ推論を悪用するように特別に設計できることを示し、大規模なユーザーデータの操作と窃取を可能にする。バッチ処理を標的とすることで、これらのアーキテクチャバックドアは同時ユーザーリクエスト間の情報漏洩を容易にし、攻撃者が同一バッチ内の他のユーザーに対するモデル応答を完全に制御できるようにする。言い換えれば、モデルアーキテクチャを変更できる攻撃者は、同一バッチ内の他のユーザーのモデル入力と出力を設定し、窃取することが可能となる。我々は、このような攻撃が実現可能であるだけでなく、驚くほど効果的であり、広く普及しているモデルアーキテクチャに容易に注入できることを示し、ユーザーのプライバシーとシステムの完全性に対する真に悪意のある脅威であることを明らかにする。重要なことに、この新たな脆弱性クラスに対抗するため、我々は形式的な保証を提供する決定論的緩和戦略を提案する。これは、従来の大規模言語モデルに依存してバックドアを発見する手法とは異なる。我々の緩和戦略は、モデルグラフを分析し、同一バッチ内の異なるユーザー入力間の非干渉性を証明する新規の情報フロー制御メカニズムを採用している。この緩和戦略を用いて、Hugging Faceを通じてホストされているモデルの大規模分析を実施し、動的量子化の使用によりバッチエントリ間の（意図しない）情報漏洩を引き起こす200以上のモデルを発見した。

English

For nearly a decade the academic community has investigated backdoors in neural networks, primarily focusing on classification tasks where adversaries manipulate the model prediction. While demonstrably malicious, the immediate real-world impact of such prediction-altering attacks has remained unclear. In this paper we introduce a novel and significantly more potent class of backdoors that builds upon recent advancements in architectural backdoors. We demonstrate how these backdoors can be specifically engineered to exploit batched inference, a common technique for hardware utilization, enabling large-scale user data manipulation and theft. By targeting the batching process, these architectural backdoors facilitate information leakage between concurrent user requests and allow attackers to fully control model responses directed at other users within the same batch. In other words, an attacker who can change the model architecture can set and steal model inputs and outputs of other users within the same batch. We show that such attacks are not only feasible but also alarmingly effective, can be readily injected into prevalent model architectures, and represent a truly malicious threat to user privacy and system integrity. Critically, to counteract this new class of vulnerabilities, we propose a deterministic mitigation strategy that provides formal guarantees against this new attack vector, unlike prior work that relied on Large Language Models to find the backdoors. Our mitigation strategy employs a novel Information Flow Control mechanism that analyzes the model graph and proves non-interference between different user inputs within the same batch. Using our mitigation strategy we perform a large scale analysis of models hosted through Hugging Face and find over 200 models that introduce (unintended) information leakage between batch entries due to the use of dynamic quantization.