Los Vectores de Dirección Textual Pueden Mejorar la Comprensión Visual en Modelos de Lenguaje Multimodales de Gran Escala

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

Autores: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

Resumen

Los métodos de direccionamiento han surgido como herramientas efectivas y específicas para guiar el comportamiento de los modelos de lenguaje grandes (LLMs) sin modificar sus parámetros. Sin embargo, los modelos de lenguaje grandes multimodales (MLLMs) no cuentan actualmente con el mismo conjunto de técnicas, en parte debido a su reciente aparición y a la diversidad arquitectónica. Inspirados por esta brecha, investigamos si los MLLMs pueden ser direccionados utilizando vectores derivados de su componente de texto único, mediante autoencoders dispersos (SAEs), mean shift y sondeo lineal. Descubrimos que el direccionamiento basado en texto mejora consistentemente la precisión multimodal en diversas arquitecturas de MLLMs y tareas visuales. En particular, mean shift aumenta la precisión en relaciones espaciales en CV-Bench hasta un +7.3% y la precisión en conteo hasta un +3.3%, superando al prompting y mostrando una fuerte generalización a conjuntos de datos fuera de distribución. Estos resultados destacan a los vectores de direccionamiento textual como un mecanismo poderoso y eficiente para mejorar la fundamentación en MLLMs con un mínimo de recopilación adicional de datos y sobrecarga computacional.

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.