Automatización de la Dirección para Modelos de Lenguaje Multimodales Grandes y Seguros

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

Autores: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han desbloqueado potentes capacidades de razonamiento multimodal, pero también han planteado nuevas preocupaciones de seguridad, particularmente cuando se enfrentan a entradas multimodales adversarias. Para mejorar la seguridad de los MLLMs durante la inferencia, presentamos una tecnología modular y adaptable de intervención en tiempo de inferencia, AutoSteer, sin necesidad de ajustar el modelo subyacente. AutoSteer incorpora tres componentes principales: (1) una nueva Puntuación de Conciencia de Seguridad (SAS, por sus siglas en inglés) que identifica automáticamente las distinciones más relevantes para la seguridad entre las capas internas del modelo; (2) un explorador de seguridad adaptativo entrenado para estimar la probabilidad de salidas tóxicas a partir de representaciones intermedias; y (3) una Cabezal de Rechazo ligero que interviene selectivamente para modular la generación cuando se detectan riesgos de seguridad. Los experimentos realizados en LLaVA-OV y Chameleon en diversos puntos de referencia críticos para la seguridad demuestran que AutoSteer reduce significativamente la Tasa de Éxito de Ataque (ASR, por sus siglas en inglés) para amenazas textuales, visuales y multimodales, manteniendo al mismo tiempo las capacidades generales. Estos hallazgos posicionan a AutoSteer como un marco práctico, interpretable y efectivo para el despliegue más seguro de sistemas de inteligencia artificial multimodal.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.