Vetores de Direcionamento Textual Podem Melhorar a Compreensão Visual em Modelos de Linguagem Multimodais de Grande Escala

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

May 20, 2025

Autores: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

cs.AI

Resumo

Métodos de direcionamento surgiram como ferramentas eficazes e direcionadas para guiar o comportamento de grandes modelos de linguagem (LLMs) sem modificar seus parâmetros. No entanto, os modelos de linguagem multimodal de grande escala (MLLMs) atualmente não contam com o mesmo conjunto de técnicas, em parte devido à sua recente criação e à diversidade arquitetônica. Inspirados por essa lacuna, investigamos se os MLLMs podem ser direcionados usando vetores derivados de sua base de LLM apenas de texto, por meio de autoencoders esparsos (SAEs), deslocamento de média (mean shift) e sondagem linear. Descobrimos que o direcionamento derivado de texto consistentemente melhora a precisão multimodal em diversas arquiteturas de MLLMs e tarefas visuais. Em particular, o deslocamento de média aumenta a precisão de relações espaciais no CV-Bench em até +7,3% e a precisão de contagem em até +3,3%, superando o prompting e exibindo forte generalização para conjuntos de dados fora da distribuição. Esses resultados destacam os vetores de direcionamento textual como um mecanismo poderoso e eficiente para melhorar o enraizamento em MLLMs com coleta de dados adicional mínima e sobrecarga computacional reduzida.

English

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.