Automazione del Controllo per Modelli Linguistici Multimodali di Grande Scala Sicuri

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

Autori: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno sbloccato potenti capacità di ragionamento cross-modale, ma hanno anche sollevato nuove preoccupazioni in termini di sicurezza, specialmente quando si affrontano input multimodali avversari. Per migliorare la sicurezza degli MLLM durante l'inferenza, introduciamo una tecnologia modulare e adattiva di intervento in fase di inferenza, AutoSteer, senza richiedere alcun fine-tuning del modello sottostante. AutoSteer incorpora tre componenti principali: (1) un nuovo Safety Awareness Score (SAS) che identifica automaticamente le distinzioni più rilevanti per la sicurezza tra gli strati interni del modello; (2) un safety prober adattivo addestrato per stimare la probabilità di output tossici a partire dalle rappresentazioni intermedie; e (3) un Refusal Head leggero che interviene selettivamente per modulare la generazione quando vengono rilevati rischi di sicurezza. Esperimenti su LLaVA-OV e Chameleon su diversi benchmark critici per la sicurezza dimostrano che AutoSteer riduce significativamente il tasso di successo degli attacchi (ASR) per minacce testuali, visive e cross-modali, mantenendo al contempo le capacità generali. Questi risultati posizionano AutoSteer come un framework pratico, interpretabile ed efficace per un deployment più sicuro dei sistemi di intelligenza artificiale multimodale.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.