Automatisering van sturing voor veilige multimodale grote taalmodellen

Automating Steering for Safe Multimodal Large Language Models

July 17, 2025

Auteurs: Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

cs.AI

Samenvatting

Recente vooruitgang in Multimodale Grote Taalmodellen (MLLMs) heeft krachtige cross-modale redeneervaardigheden ontsloten, maar heeft ook nieuwe veiligheidszorgen opgeworpen, met name bij het omgaan met adversariële multimodale invoer. Om de veiligheid van MLLMs tijdens inferentie te verbeteren, introduceren we een modulaire en adaptieve interventietechnologie tijdens inferentie, AutoSteer, zonder dat fine-tuning van het onderliggende model nodig is. AutoSteer omvat drie kerncomponenten: (1) een nieuwe Veiligheidsbewustzijnsscore (SAS) die automatisch de meest veiligheidsrelevante onderscheidingen tussen de interne lagen van het model identificeert; (2) een adaptieve veiligheidsonderzoeker die is getraind om de waarschijnlijkheid van giftige uitvoer te schatten op basis van tussenliggende representaties; en (3) een lichtgewicht Weigeringskop die selectief ingrijpt om de generatie te moduleren wanneer veiligheidsrisico's worden gedetecteerd. Experimenten op LLaVA-OV en Chameleon over diverse veiligheidskritieke benchmarks tonen aan dat AutoSteer de Aanval Succesratio (ASR) voor tekstuele, visuele en cross-modale bedreigingen aanzienlijk verlaagt, terwijl de algemene vaardigheden behouden blijven. Deze bevindingen positioneren AutoSteer als een praktisch, interpreteerbaar en effectief raamwerk voor een veiligere inzet van multimodale AI-systemen.

English

Recent progress in Multimodal Large Language Models (MLLMs) has unlocked powerful cross-modal reasoning abilities, but also raised new safety concerns, particularly when faced with adversarial multimodal inputs. To improve the safety of MLLMs during inference, we introduce a modular and adaptive inference-time intervention technology, AutoSteer, without requiring any fine-tuning of the underlying model. AutoSteer incorporates three core components: (1) a novel Safety Awareness Score (SAS) that automatically identifies the most safety-relevant distinctions among the model's internal layers; (2) an adaptive safety prober trained to estimate the likelihood of toxic outputs from intermediate representations; and (3) a lightweight Refusal Head that selectively intervenes to modulate generation when safety risks are detected. Experiments on LLaVA-OV and Chameleon across diverse safety-critical benchmarks demonstrate that AutoSteer significantly reduces the Attack Success Rate (ASR) for textual, visual, and cross-modal threats, while maintaining general abilities. These findings position AutoSteer as a practical, interpretable, and effective framework for safer deployment of multimodal AI systems.