テキスト操舵ベクトルはマルチモーダル大規模言語モデルの視覚理解を向上させることができる

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

著者: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

要旨

ステアリング手法は、大規模言語モデル（LLM）のパラメータを変更することなくその振る舞いを導くための効果的かつターゲットを絞ったツールとして登場してきた。しかし、マルチモーダル大規模言語モデル（MLLM）は、その新しさとアーキテクチャの多様性ゆえに、現時点では同じような手法を享受していない。このギャップに着想を得て、我々はMLLMがテキストのみのLLMバックボーンから導出されたベクトルを用いて、スパースオートエンコーダ（SAE）、平均シフト、線形プローブを介してステアリング可能かどうかを調査した。その結果、テキストから導出されたステアリングは、多様なMLLMアーキテクチャと視覚タスクにおいて一貫してマルチモーダル精度を向上させることがわかった。特に、平均シフトはCV-Benchにおける空間関係の精度を最大+7.3%、計数精度を最大+3.3%向上させ、プロンプティングを上回り、分布外データセットに対する強い汎化性能を示した。これらの結果は、テキストステアリングベクトルが、最小限の追加データ収集と計算オーバーヘッドでMLLMのグラウンディングを強化するための強力で効率的なメカニズムであることを強調している。

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.