Visuelle Backdoor-Angriffe auf verkörpertes Entscheidungsverhalten von MLLMs durch kontrastives Trigger-Lernen

Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning

October 31, 2025

papers.authors: Qiusi Zhan, Hyeonjeong Ha, Rui Yang, Sirui Xu, Hanyang Chen, Liang-Yan Gui, Yu-Xiong Wang, Huan Zhang, Heng Ji, Daniel Kang

cs.AI

papers.abstract

Multimodale große Sprachmodelle (MLLMs) haben verkörperte Agenten vorangebracht, indem sie direkte Wahrnehmung, logisches Schlussfolgern und die Planung aufgabenorientierter Aktionen aus visuellen Eingaben ermöglichen. Solche visuell gesteuerten, verkörperten Agenten eröffnen jedoch eine neue Angriffsfläche: visuelle Backdoor-Angriffe, bei denen sich der Agent normal verhält, bis ein visueller Trigger in der Szene erscheint, und dann persistente eine vom Angreifer vorgegebene Mehrschritt-Strategie ausführt. Wir stellen BEAT vor, den ersten Rahmen zum Injizieren solcher visueller Backdoors in MLLM-basierte verkörperte Agenten unter Verwendung von Objekten in der Umgebung als Trigger. Im Gegensatz zu textuellen Triggern weisen Objekttrigger große Variationen über Blickwinkel und Beleuchtung hinweg auf, was ihre zuverlässige Implantierung erschwert. BEAT adressiert diese Herausforderung durch (1) die Erstellung eines Trainingsdatensatzes, der verschiedene Szenen, Aufgaben und Triggerplatzierungen abdeckt, um Agenten der Trigger-Variabilität auszusetzen, und (2) die Einführung eines zweistufigen Trainingsschemas, das zunächst Supervised Fine-Tuning (SFT) anwendet und dann unser neuartiges Contrastive Trigger Learning (CTL). CTL formuliert Trigger-Diskriminierung als Preference-Learning zwischen Trigger-positiven und Trigger-freien Eingaben, schärft explizit die Entscheidungsgrenzen und gewährleistet so eine präzise Backdoor-Aktivierung. In verschiedenen Benchmarks für verkörperte Agenten und mit verschiedenen MLLMs erreicht BEAT Angriffserfolgsraten von bis zu 80 %, bei gleichzeitig starker Leistung in benignen Aufgaben, und generalisiert zuverlässig auf Out-of-Distribution-Triggerplatzierungen. Bemerkenswerterweise steigert CTL im Vergleich zu naivem SFT die Backdoor-Aktivierungsgenauigkeit bei begrenzten Backdoor-Daten um bis zu 39 %. Diese Ergebnisse decken ein kritisches, bislang unerforschtes Sicherheitsrisiko in MLLM-basierten verkörperten Agenten auf und unterstreichen die Notwendigkeit robuster Verteidigungsmaßnahmen vor einem realen Einsatz.

English

Multimodal large language models (MLLMs) have advanced embodied agents by enabling direct perception, reasoning, and planning task-oriented actions from visual inputs. However, such vision driven embodied agents open a new attack surface: visual backdoor attacks, where the agent behaves normally until a visual trigger appears in the scene, then persistently executes an attacker-specified multi-step policy. We introduce BEAT, the first framework to inject such visual backdoors into MLLM-based embodied agents using objects in the environments as triggers. Unlike textual triggers, object triggers exhibit wide variation across viewpoints and lighting, making them difficult to implant reliably. BEAT addresses this challenge by (1) constructing a training set that spans diverse scenes, tasks, and trigger placements to expose agents to trigger variability, and (2) introducing a two-stage training scheme that first applies supervised fine-tuning (SFT) and then our novel Contrastive Trigger Learning (CTL). CTL formulates trigger discrimination as preference learning between trigger-present and trigger-free inputs, explicitly sharpening the decision boundaries to ensure precise backdoor activation. Across various embodied agent benchmarks and MLLMs, BEAT achieves attack success rates up to 80%, while maintaining strong benign task performance, and generalizes reliably to out-of-distribution trigger placements. Notably, compared to naive SFT, CTL boosts backdoor activation accuracy up to 39% under limited backdoor data. These findings expose a critical yet unexplored security risk in MLLM-based embodied agents, underscoring the need for robust defenses before real-world deployment.