Automatisation de la Direction pour des Modèles de Langage Multimodaux Sûrs

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

papers.authors: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

papers.abstract

Les récents progrès dans les modèles de langage multimodal de grande envergure (MLLMs) ont débloqué de puissantes capacités de raisonnement intermodal, mais ont également soulevé de nouvelles préoccupations en matière de sécurité, en particulier face à des entrées multimodales adverses. Pour améliorer la sécurité des MLLMs lors de l'inférence, nous introduisons une technologie d'intervention modulaire et adaptative en temps d'inférence, AutoSteer, sans nécessiter de réglage fin du modèle sous-jacent. AutoSteer intègre trois composants principaux : (1) un nouveau Score de Conscience de Sécurité (SAS) qui identifie automatiquement les distinctions les plus pertinentes pour la sécurité parmi les couches internes du modèle ; (2) un sondeur de sécurité adaptatif entraîné à estimer la probabilité de sorties toxiques à partir des représentations intermédiaires ; et (3) une Tête de Refus légère qui intervient sélectivement pour moduler la génération lorsque des risques de sécurité sont détectés. Les expériences sur LLaVA-OV et Chameleon à travers divers benchmarks critiques en matière de sécurité démontrent qu'AutoSteer réduit significativement le Taux de Réussite des Attaques (ASR) pour les menaces textuelles, visuelles et intermodales, tout en maintenant les capacités générales. Ces résultats positionnent AutoSteer comme un cadre pratique, interprétable et efficace pour un déploiement plus sûr des systèmes d'IA multimodaux.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.