Automatizando a Direção para Modelos de Linguagem Multimodais Grandes e Seguros

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

Autores: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

Resumo

Os recentes avanços em Modelos de Linguagem Multimodais de Grande Escala (MLLMs) desbloquearam poderosas habilidades de raciocínio cruzado entre modalidades, mas também levantaram novas preocupações de segurança, especialmente quando confrontados com entradas multimodais adversariais. Para melhorar a segurança dos MLLMs durante a inferência, introduzimos uma tecnologia modular e adaptativa de intervenção em tempo de inferência, o AutoSteer, sem a necessidade de ajuste fino do modelo subjacente. O AutoSteer incorpora três componentes principais: (1) um novo Score de Consciência de Segurança (SAS) que identifica automaticamente as distinções mais relevantes para a segurança entre as camadas internas do modelo; (2) um sonda de segurança adaptativa treinada para estimar a probabilidade de saídas tóxicas a partir de representações intermediárias; e (3) um Cabeçalho de Recusa leve que intervém seletivamente para modular a geração quando riscos de segurança são detectados. Experimentos realizados com LLaVA-OV e Chameleon em diversos benchmarks críticos para segurança demonstram que o AutoSteer reduz significativamente a Taxa de Sucesso de Ataque (ASR) para ameaças textuais, visuais e cruzadas entre modalidades, mantendo as habilidades gerais. Esses resultados posicionam o AutoSteer como uma estrutura prática, interpretável e eficaz para a implantação mais segura de sistemas de IA multimodal.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.