Automatisierung der Steuerung für sichere multimodale Large Language Models

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

papers.authors: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

papers.abstract

Jüngste Fortschritte bei Multimodalen Großen Sprachmodellen (MLLMs) haben leistungsfähige Fähigkeiten zur cross-modalen Argumentation freigesetzt, aber auch neue Sicherheitsbedenken aufgeworfen, insbesondere bei der Konfrontation mit adversarischen multimodalen Eingaben. Um die Sicherheit von MLLMs während der Inferenz zu verbessern, führen wir eine modulare und adaptive Inferenzzeit-Interventionstechnologie namens AutoSteer ein, ohne dass eine Feinabstimmung des zugrunde liegenden Modells erforderlich ist. AutoSteer umfasst drei Kernkomponenten: (1) einen neuartigen Sicherheitsbewusstseins-Score (SAS), der automatisch die sicherheitsrelevantesten Unterscheidungen innerhalb der internen Schichten des Modells identifiziert; (2) einen adaptiven Sicherheitsprüfer, der darauf trainiert ist, die Wahrscheinlichkeit toxischer Ausgaben aus Zwischendarstellungen zu schätzen; und (3) einen leichtgewichtigen Verweigerungskopf (Refusal Head), der selektiv eingreift, um die Generierung zu modulieren, wenn Sicherheitsrisiken erkannt werden. Experimente mit LLaVA-OV und Chameleon über diverse sicherheitskritische Benchmarks zeigen, dass AutoSteer die Angriffserfolgsrate (ASR) für textuelle, visuelle und cross-modale Bedrohungen signifikant reduziert, während die allgemeinen Fähigkeiten erhalten bleiben. Diese Ergebnisse positionieren AutoSteer als ein praktisches, interpretierbares und effektives Framework für die sicherere Bereitstellung multimodaler KI-Systeme.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.