Brauchen VLMs Vision Transformer? Eine Evaluierung von State Space Models als Vision-Encoder
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
March 19, 2026
Autoren: Shang-Jui Ray Kuo, Paola Cascante-Bonilla
cs.AI
Zusammenfassung
Große visuell-sprachliche Modelle (VLMs) verwenden oft ein eingefrorenes visuelles Backbone, dessen Bildmerkmale über einen leichten Connector in ein großes Sprachmodell abgebildet werden. Während transformerbasierte Encoder der Standard für visuelle Backbones sind, stellen wir die Frage, ob Vision-Backbones auf Basis von State Space Models (SSMs) eine starke Alternative darstellen können. Wir evaluieren SSM-Vision-Backbones für VLMs systematisch unter kontrollierten Bedingungen. Bei angeglichener ImageNet-1K-Initialisierung erreicht das SSM-Backbone die insgesamt stärkste Leistung sowohl bei VQA als auch bei Grounding/Lokalisierung. Wir passen sowohl SSM- als auch ViT-Backbones weiter durch Training für Detektion oder Segmentierung an und stellen fest, dass das Feintuning auf dichte Aufgaben die Leistung allgemein über beide Familien hinweg verbessert; nach dieser Anpassung bleibt das SSM-Backbone wettbewerbsfähig, operiert jedoch bei einem deutlich geringeren Modellmaßstab. Wir beobachten weiterhin, dass (i) eine höhere ImageNet-Genauigkeit oder größere Backbones nicht zuverlässig in eine bessere VLM-Leistung übersetzt werden und (ii) einige visuelle Backbones bei der Lokalisierung instabil sind. Basierend auf diesen Erkenntnissen schlagen wir Stabilisierungsstrategien vor, die die Robustheit für beide Backbone-Familien verbessern, und heben SSM-Backbones als starke Alternative zu transformerbasierten visuellen Encodern in VLMs hervor.
English
Large vision--language models (VLMs) often use a frozen vision backbone, whose image features are mapped into a large language model through a lightweight connector. While transformer-based encoders are the standard visual backbone, we ask whether state space model (SSM) vision backbones can be a strong alternative. We systematically evaluate SSM vision backbones for VLMs in a controlled setting. Under matched ImageNet-1K initialization, the SSM backbone achieves the strongest overall performance across both VQA and grounding/localization. We further adapt both SSM and ViT-family backbones with detection or segmentation training and find that dense-task tuning generally improves performance across families; after this adaptation, the SSM backbone remains competitive while operating at a substantially smaller model scale. We further observe that (i) higher ImageNet accuracy or larger backbones do not reliably translate into better VLM performance, and (ii) some visual backbones are unstable in localization. Based on these findings, we propose stabilization strategies that improve robustness for both backbone families and highlight SSM backbones as a strong alternative to transformer-based vision encoders in VLMs.