Визуальные бэкдор-атаки на принятие решений в воплощенных MLLM с помощью контрастного обучения триггеров

Аннотация

Мультимодальные большие языковые модели (MБЯМ) расширили возможности воплощенных агентов, обеспечивая прямое восприятие, рассуждение и планирование целеориентированных действий на основе визуальных входных данных. Однако такие управляемые зрением воплощенные агенты открывают новую поверхность для атак: визуальные бэкдор-атаки, при которых агент ведет себя нормально до появления визуального триггера в сцене, после чего настойчиво выполняет заданную злоумышленником многошаговую политику. Мы представляем BEAT — первую систему для внедрения таких визуальных бэкдоров в МБЯМ-агенты с использованием объектов окружающей среды в качестве триггеров. В отличие от текстовых триггеров, объектные триггеры демонстрируют значительные вариации между точками обзора и условиями освещенности, что затрудняет их надежное внедрение. BEAT решает эту проблему путем (1) создания обучающей выборки, охватывающей разнообразные сцены, задачи и размещения триггеров, чтобы познакомить агентов с вариабельностью триггеров, и (2) введения двухэтапной схемы обучения, которая сначала применяет контролируемое тонкое настраивание (SFT), а затем нашу новую контрастную триггерную обучаемость (CTL). CTL формулирует распознавание триггеров как обучение с предпочтениями между входами с триггером и без, явно заостряя границы решений для обеспечения точной активации бэкдора. В различных тестах для воплощенных агентов и МБЯМ система BEAT достигает уровня успешности атак до 80%, сохраняя при этом высокую производительность на доброкачественных задачах и надежно обобщаясь на размещения триггеров вне распределения. Примечательно, что по сравнению с наивным SFT, CTL повышает точность активации бэкдора до 39% при ограниченных данных бэкдора. Эти результаты выявляют критический, но неисследованный риск безопасности в МБЯМ-агентах, подчеркивая необходимость разработки надежных защитных механизмов перед развертыванием в реальном мире.

English

Multimodal large language models (MLLMs) have advanced embodied agents by enabling direct perception, reasoning, and planning task-oriented actions from visual inputs. However, such vision driven embodied agents open a new attack surface: visual backdoor attacks, where the agent behaves normally until a visual trigger appears in the scene, then persistently executes an attacker-specified multi-step policy. We introduce BEAT, the first framework to inject such visual backdoors into MLLM-based embodied agents using objects in the environments as triggers. Unlike textual triggers, object triggers exhibit wide variation across viewpoints and lighting, making them difficult to implant reliably. BEAT addresses this challenge by (1) constructing a training set that spans diverse scenes, tasks, and trigger placements to expose agents to trigger variability, and (2) introducing a two-stage training scheme that first applies supervised fine-tuning (SFT) and then our novel Contrastive Trigger Learning (CTL). CTL formulates trigger discrimination as preference learning between trigger-present and trigger-free inputs, explicitly sharpening the decision boundaries to ensure precise backdoor activation. Across various embodied agent benchmarks and MLLMs, BEAT achieves attack success rates up to 80%, while maintaining strong benign task performance, and generalizes reliably to out-of-distribution trigger placements. Notably, compared to naive SFT, CTL boosts backdoor activation accuracy up to 39% under limited backdoor data. These findings expose a critical yet unexplored security risk in MLLM-based embodied agents, underscoring the need for robust defenses before real-world deployment.

Визуальные бэкдор-атаки на принятие решений в воплощенных MLLM с помощью контрастного обучения триггеров

Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning

Аннотация

Support