I vettori di direzione testuali possono migliorare la comprensione visiva nei modelli linguistici multimodali di grandi dimensioni

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

Autori: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

Abstract

I metodi di steering sono emersi come strumenti efficaci e mirati per guidare il comportamento dei grandi modelli linguistici (LLMs) senza modificarne i parametri. Tuttavia, i grandi modelli linguistici multimodali (MLLMs) non dispongono attualmente della stessa gamma di tecniche, in parte a causa della loro recente introduzione e della diversità architetturale. Ispirati da questa lacuna, abbiamo indagato se gli MLLMs possano essere guidati utilizzando vettori derivati dal loro backbone LLM esclusivamente testuale, attraverso autoencoder sparsi (SAEs), mean shift e linear probing. Abbiamo riscontrato che lo steering derivato dal testo migliora costantemente l'accuratezza multimodale attraverso diverse architetture MLLM e compiti visivi. In particolare, il mean shift aumenta l'accuratezza delle relazioni spaziali su CV-Bench fino al +7,3% e l'accuratezza nel conteggio fino al +3,3%, superando il prompting e mostrando una forte generalizzazione su dataset fuori distribuzione. Questi risultati evidenziano i vettori di steering testuali come un meccanismo potente ed efficiente per migliorare il grounding negli MLLMs con un minimo sovraccarico di raccolta dati e computazionale.

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.