Textuelle Steuerungsvektoren können das visuelle Verständnis in multimodalen großen Sprachmodellen verbessern.

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

Autoren: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

Zusammenfassung

Steuerungsmethoden haben sich als effektive und zielgerichtete Werkzeuge erwiesen, um das Verhalten von großen Sprachmodellen (LLMs) zu lenken, ohne deren Parameter zu verändern. Multimodale große Sprachmodelle (MLLMs) profitieren jedoch derzeit nicht von denselben Techniken, was teilweise auf ihre Neuheit und architektonische Vielfalt zurückzuführen ist. Inspiriert von dieser Lücke untersuchen wir, ob MLLMs mithilfe von Vektoren gesteuert werden können, die aus ihrem textbasierten LLM-Rückgrat abgeleitet werden, und zwar über spärliche Autoencoder (SAEs), Mean Shift und lineare Sonden. Wir stellen fest, dass die textbasierte Steuerung die multimodale Genauigkeit über verschiedene MLLM-Architekturen und visuelle Aufgaben hinweg konsequent verbessert. Insbesondere steigert Mean Shift die Genauigkeit bei räumlichen Beziehungen auf CV-Bench um bis zu +7,3 % und die Zählgenauigkeit um bis zu +3,3 %, wobei es Prompting übertrifft und eine starke Generalisierung auf Out-of-Distribution-Datensätze zeigt. Diese Ergebnisse unterstreichen textbasierte Steuerungsvektoren als einen leistungsstarken und effizienten Mechanismus zur Verbesserung der Verankerung in MLLMs mit minimalem zusätzlichen Datenerfassungs- und Rechenaufwand.

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.