Architektonische Hintertüren für den Datendiebstahl innerhalb von Batches und die Manipulation der Modellinferenz

Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

May 23, 2025

Autoren: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

cs.AI

Zusammenfassung

Seit fast einem Jahrzehnt untersucht die akademische Gemeinschaft Backdoors in neuronalen Netzen, wobei der Schwerpunkt hauptsächlich auf Klassifizierungsaufgaben lag, bei denen Angreifer die Modellvorhersage manipulieren. Obwohl diese Angriffe, die die Vorhersage verändern, nachweislich bösartig sind, blieb die unmittelbare reale Auswirkung solcher Angriffe unklar. In diesem Artikel stellen wir eine neuartige und deutlich potentere Klasse von Backdoors vor, die auf jüngsten Fortschritten bei architektonischen Backdoors aufbaut. Wir zeigen, wie diese Backdoors speziell entwickelt werden können, um batched Inference, eine gängige Technik zur Hardwareauslastung, auszunutzen, was die Manipulation und den Diebstahl von Benutzerdaten in großem Maßstab ermöglicht. Indem sie den Batching-Prozess ins Visier nehmen, erleichtern diese architektonischen Backdoors den Informationsabfluss zwischen gleichzeitigen Benutzeranfragen und ermöglichen es Angreifern, die Modellantworten, die an andere Benutzer innerhalb desselben Batches gerichtet sind, vollständig zu kontrollieren. Mit anderen Worten: Ein Angreifer, der die Modellarchitektur ändern kann, kann die Modelleingaben und -ausgaben anderer Benutzer innerhalb desselben Batches festlegen und stehlen. Wir zeigen, dass solche Angriffe nicht nur machbar, sondern auch alarmierend effektiv sind, leicht in verbreitete Modellarchitekturen eingeschleust werden können und eine wirklich bösartige Bedrohung für die Privatsphäre der Benutzer und die Systemintegrität darstellen. Entscheidend ist, dass wir zur Abwehr dieser neuen Klasse von Schwachstellen eine deterministische Abschwächungsstrategie vorschlagen, die formale Garantien gegen diesen neuen Angriffsvektor bietet, im Gegensatz zu früheren Arbeiten, die sich auf Large Language Models verließen, um die Backdoors zu finden. Unsere Abschwächungsstrategie verwendet einen neuartigen Information Flow Control-Mechanismus, der den Modellgraphen analysiert und die Nicht-Interferenz zwischen verschiedenen Benutzereingaben innerhalb desselben Batches nachweist. Mit unserer Abschwächungsstrategie führen wir eine groß angelegte Analyse von Modellen durch, die über Hugging Face gehostet werden, und finden über 200 Modelle, die (unbeabsichtigte) Informationslecks zwischen Batcheinträgen aufgrund der Verwendung von dynamischer Quantisierung einführen.

English

For nearly a decade the academic community has investigated backdoors in neural networks, primarily focusing on classification tasks where adversaries manipulate the model prediction. While demonstrably malicious, the immediate real-world impact of such prediction-altering attacks has remained unclear. In this paper we introduce a novel and significantly more potent class of backdoors that builds upon recent advancements in architectural backdoors. We demonstrate how these backdoors can be specifically engineered to exploit batched inference, a common technique for hardware utilization, enabling large-scale user data manipulation and theft. By targeting the batching process, these architectural backdoors facilitate information leakage between concurrent user requests and allow attackers to fully control model responses directed at other users within the same batch. In other words, an attacker who can change the model architecture can set and steal model inputs and outputs of other users within the same batch. We show that such attacks are not only feasible but also alarmingly effective, can be readily injected into prevalent model architectures, and represent a truly malicious threat to user privacy and system integrity. Critically, to counteract this new class of vulnerabilities, we propose a deterministic mitigation strategy that provides formal guarantees against this new attack vector, unlike prior work that relied on Large Language Models to find the backdoors. Our mitigation strategy employs a novel Information Flow Control mechanism that analyzes the model graph and proves non-interference between different user inputs within the same batch. Using our mitigation strategy we perform a large scale analysis of models hosted through Hugging Face and find over 200 models that introduce (unintended) information leakage between batch entries due to the use of dynamic quantization.