Puertas traseras arquitectónicas para el robo de datos dentro del lote y la manipulación de la inferencia del modelo

Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

May 23, 2025

Autores: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

cs.AI

Resumen

Durante casi una década, la comunidad académica ha investigado las puertas traseras en redes neuronales, centrándose principalmente en tareas de clasificación donde los adversarios manipulan la predicción del modelo. Aunque claramente maliciosos, el impacto inmediato en el mundo real de estos ataques que alteran las predicciones ha permanecido poco claro. En este artículo, presentamos una clase novedosa y significativamente más potente de puertas traseras que se basa en avances recientes en puertas traseras arquitectónicas. Demostramos cómo estas puertas traseras pueden ser diseñadas específicamente para explotar la inferencia por lotes, una técnica común para la utilización de hardware, permitiendo la manipulación y el robo de datos de usuarios a gran escala. Al apuntar al proceso de lotes, estas puertas traseras arquitectónicas facilitan la fuga de información entre solicitudes concurrentes de usuarios y permiten a los atacantes controlar completamente las respuestas del modelo dirigidas a otros usuarios dentro del mismo lote. En otras palabras, un atacante que pueda cambiar la arquitectura del modelo puede establecer y robar las entradas y salidas del modelo de otros usuarios dentro del mismo lote. Mostramos que tales ataques no solo son factibles, sino también alarmantemente efectivos, pueden inyectarse fácilmente en arquitecturas de modelos prevalentes y representan una amenaza verdaderamente maliciosa para la privacidad del usuario y la integridad del sistema. De manera crítica, para contrarrestar esta nueva clase de vulnerabilidades, proponemos una estrategia de mitigación determinista que proporciona garantías formales contra este nuevo vector de ataque, a diferencia de trabajos previos que dependían de Modelos de Lenguaje de Gran Escala para encontrar las puertas traseras. Nuestra estrategia de mitigación emplea un novedoso mecanismo de Control de Flujo de Información que analiza el gráfico del modelo y demuestra la no interferencia entre diferentes entradas de usuario dentro del mismo lote. Utilizando nuestra estrategia de mitigación, realizamos un análisis a gran escala de modelos alojados en Hugging Face y encontramos más de 200 modelos que introducen (involuntariamente) fugas de información entre entradas de lotes debido al uso de cuantización dinámica.

English

For nearly a decade the academic community has investigated backdoors in neural networks, primarily focusing on classification tasks where adversaries manipulate the model prediction. While demonstrably malicious, the immediate real-world impact of such prediction-altering attacks has remained unclear. In this paper we introduce a novel and significantly more potent class of backdoors that builds upon recent advancements in architectural backdoors. We demonstrate how these backdoors can be specifically engineered to exploit batched inference, a common technique for hardware utilization, enabling large-scale user data manipulation and theft. By targeting the batching process, these architectural backdoors facilitate information leakage between concurrent user requests and allow attackers to fully control model responses directed at other users within the same batch. In other words, an attacker who can change the model architecture can set and steal model inputs and outputs of other users within the same batch. We show that such attacks are not only feasible but also alarmingly effective, can be readily injected into prevalent model architectures, and represent a truly malicious threat to user privacy and system integrity. Critically, to counteract this new class of vulnerabilities, we propose a deterministic mitigation strategy that provides formal guarantees against this new attack vector, unlike prior work that relied on Large Language Models to find the backdoors. Our mitigation strategy employs a novel Information Flow Control mechanism that analyzes the model graph and proves non-interference between different user inputs within the same batch. Using our mitigation strategy we perform a large scale analysis of models hosted through Hugging Face and find over 200 models that introduce (unintended) information leakage between batch entries due to the use of dynamic quantization.