Ataques de Puerta Trasera Visual en la Toma de Decisiones Embebidas de MLLM mediante Aprendizaje de Disparadores por Contraste

Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning

October 31, 2025

Autores: Qiusi Zhan, Hyeonjeong Ha, Rui Yang, Sirui Xu, Hanyang Chen, Liang-Yan Gui, Yu-Xiong Wang, Huan Zhang, Heng Ji, Daniel Kang

cs.AI

Resumen

Los modelos de lenguaje multimodal (MLLM) han impulsado a los agentes corporizados al permitir la percepción directa, el razonamiento y la planificación de acciones orientadas a tareas a partir de entradas visuales. Sin embargo, estos agentes corporizados guiados por visión abren una nueva superficie de ataque: los ataques visuales de puerta trasera (backdoor), donde el agente se comporta con normalidad hasta que aparece un disparador visual en la escena, momento en el que ejecuta persistentemente una política de múltiples pasos especificada por el atacante. Presentamos BEAT, el primer marco para inyectar tales puertas traseras visuales en agentes corporizados basados en MLLM utilizando objetos del entorno como disparadores. A diferencia de los disparadores textuales, los disparadores basados en objetos presentan una amplia variación entre puntos de vista e iluminación, lo que dificulta su implantación fiable. BEAT aborda este desafío mediante (1) la construcción de un conjunto de entrenamiento que abarca escenas, tareas y ubicaciones de disparadores diversas para exponer a los agentes a la variabilidad del disparador, y (2) la introducción de un esquema de entrenamiento en dos etapas que primero aplica el ajuste fino supervisado (SFT) y luego nuestra novedosa Aprendizaje por Contraste de Disparadores (CTL). CTL formula la discriminación del disparador como un aprendizaje de preferencias entre entradas con disparador y sin él, agudizando explícitamente los límites de decisión para garantizar una activación precisa de la puerta trasera. En varios benchmarks de agentes corporizados y MLLMs, BEAT logra tasas de éxito de ataque de hasta el 80%, manteniendo un fuerte rendimiento en tareas benignas, y se generaliza de manera fiable a ubicaciones de disparadores fuera de distribución. Notablemente, en comparación con SFT simple, CTL aumenta la precisión de activación de la puerta trasera hasta en un 39% con datos limitados de puerta trasera. Estos hallazgos exponen un riesgo de seguridad crítico y aún no explorado en los agentes corporizados basados en MLLM, subrayando la necesidad de defensas robustas antes de su implementación en el mundo real.

English

Multimodal large language models (MLLMs) have advanced embodied agents by enabling direct perception, reasoning, and planning task-oriented actions from visual inputs. However, such vision driven embodied agents open a new attack surface: visual backdoor attacks, where the agent behaves normally until a visual trigger appears in the scene, then persistently executes an attacker-specified multi-step policy. We introduce BEAT, the first framework to inject such visual backdoors into MLLM-based embodied agents using objects in the environments as triggers. Unlike textual triggers, object triggers exhibit wide variation across viewpoints and lighting, making them difficult to implant reliably. BEAT addresses this challenge by (1) constructing a training set that spans diverse scenes, tasks, and trigger placements to expose agents to trigger variability, and (2) introducing a two-stage training scheme that first applies supervised fine-tuning (SFT) and then our novel Contrastive Trigger Learning (CTL). CTL formulates trigger discrimination as preference learning between trigger-present and trigger-free inputs, explicitly sharpening the decision boundaries to ensure precise backdoor activation. Across various embodied agent benchmarks and MLLMs, BEAT achieves attack success rates up to 80%, while maintaining strong benign task performance, and generalizes reliably to out-of-distribution trigger placements. Notably, compared to naive SFT, CTL boosts backdoor activation accuracy up to 39% under limited backdoor data. These findings expose a critical yet unexplored security risk in MLLM-based embodied agents, underscoring the need for robust defenses before real-world deployment.