Текстовые управляющие векторы могут улучшить визуальное понимание в мультимодальных крупных языковых моделях

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

Авторы: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

Аннотация

Методы управления поведением крупных языковых моделей (LLM) без изменения их параметров зарекомендовали себя как эффективные и целенаправленные инструменты. Однако мультимодальные крупные языковые модели (MLLM) пока не обладают аналогичным набором техник, отчасти из-за их недавнего появления и архитектурного разнообразия. Вдохновленные этим пробелом, мы исследуем, можно ли управлять MLLM с помощью векторов, полученных из их текстового ядра LLM, используя разреженные автокодировщики (SAE), метод среднего сдвига (mean shift) и линейное зондирование. Мы обнаруживаем, что управление на основе текста последовательно повышает точность мультимодальных моделей в различных архитектурах MLLM и визуальных задачах. В частности, метод среднего сдвига увеличивает точность определения пространственных отношений на CV-Bench до +7,3%, а точность подсчета — до +3,3%, превосходя методы подсказок и демонстрируя сильную обобщаемость на данных, выходящих за пределы распределения. Эти результаты подчеркивают текстовые векторы управления как мощный и эффективный механизм для улучшения заземления в MLLM с минимальными дополнительными затратами на сбор данных и вычислительные ресурсы.

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.