Архитектурные бэкдоры для кражи данных внутри батча и манипуляции выводами модели

Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

May 23, 2025

Авторы: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

cs.AI

Аннотация

На протяжении почти десяти лет научное сообщество исследовало бэкдоры в нейронных сетях, в основном сосредотачиваясь на задачах классификации, где злоумышленники манипулируют предсказаниями модели. Хотя такие атаки, изменяющие предсказания, явно злонамеренны, их непосредственное влияние на реальный мир оставалось неясным. В данной статье мы представляем новый и значительно более мощный класс бэкдоров, который основывается на последних достижениях в области архитектурных бэкдоров. Мы демонстрируем, как эти бэкдоры могут быть специально разработаны для эксплуатации пакетного вывода — распространённой техники для эффективного использования аппаратного обеспечения, что позволяет осуществлять крупномасштабные манипуляции с пользовательскими данными и их кражу. Нацеливаясь на процесс пакетирования, эти архитектурные бэкдоры способствуют утечке информации между параллельными пользовательскими запросами и позволяют злоумышленникам полностью контролировать ответы модели, направленные на других пользователей в рамках одного пакета. Другими словами, злоумышленник, способный изменить архитектуру модели, может устанавливать и красть входные и выходные данные модели других пользователей в том же пакете. Мы показываем, что такие атаки не только возможны, но и тревожно эффективны, могут быть легко внедрены в распространённые архитектуры моделей и представляют собой серьёзную угрозу для конфиденциальности пользователей и целостности систем. Важно отметить, что для противодействия этому новому классу уязвимостей мы предлагаем детерминированную стратегию смягчения, которая обеспечивает формальные гарантии против этого нового вектора атак, в отличие от предыдущих работ, полагавшихся на большие языковые модели для обнаружения бэкдоров. Наша стратегия смягчения использует новый механизм контроля информационных потоков, который анализирует граф модели и доказывает отсутствие вмешательства между различными пользовательскими входами в рамках одного пакета. Используя нашу стратегию смягчения, мы проводим масштабный анализ моделей, размещённых на платформе Hugging Face, и обнаруживаем более 200 моделей, которые вводят (непреднамеренную) утечку информации между элементами пакета из-за использования динамического квантования.

English

For nearly a decade the academic community has investigated backdoors in neural networks, primarily focusing on classification tasks where adversaries manipulate the model prediction. While demonstrably malicious, the immediate real-world impact of such prediction-altering attacks has remained unclear. In this paper we introduce a novel and significantly more potent class of backdoors that builds upon recent advancements in architectural backdoors. We demonstrate how these backdoors can be specifically engineered to exploit batched inference, a common technique for hardware utilization, enabling large-scale user data manipulation and theft. By targeting the batching process, these architectural backdoors facilitate information leakage between concurrent user requests and allow attackers to fully control model responses directed at other users within the same batch. In other words, an attacker who can change the model architecture can set and steal model inputs and outputs of other users within the same batch. We show that such attacks are not only feasible but also alarmingly effective, can be readily injected into prevalent model architectures, and represent a truly malicious threat to user privacy and system integrity. Critically, to counteract this new class of vulnerabilities, we propose a deterministic mitigation strategy that provides formal guarantees against this new attack vector, unlike prior work that relied on Large Language Models to find the backdoors. Our mitigation strategy employs a novel Information Flow Control mechanism that analyzes the model graph and proves non-interference between different user inputs within the same batch. Using our mitigation strategy we perform a large scale analysis of models hosted through Hugging Face and find over 200 models that introduce (unintended) information leakage between batch entries due to the use of dynamic quantization.