Greffage d'encodeur visuel Zero-Shot via substituts de LLM

Zero-Shot Vision Encoder Grafting via LLM Surrogates

May 28, 2025

Auteurs: Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein

cs.AI

Résumé

Les modèles de langage visuel (VLMs) associent généralement un encodeur visuel de taille modeste à un grand modèle de langage (LLM), par exemple Llama-70B, faisant du décodeur la principale charge computationnelle pendant l'entraînement. Pour réduire les coûts, une stratégie potentiellement prometteuse consiste à d'abord entraîner l'encodeur visuel à l'aide d'un petit modèle de langage avant de le transférer vers un modèle plus grand. Nous construisons de petits "modèles de substitution" qui partagent le même espace d'incorporation et le même langage de représentation que le grand LLM cible en héritant directement de ses couches superficielles. Les encodeurs visuels entraînés sur le modèle de substitution peuvent ensuite être directement transférés vers le modèle plus grand, un processus que nous appelons greffage en zero-shot — lorsqu'ils sont directement intégrés au LLM cible de pleine taille, la paire greffée surpasse la paire encodeur-substitut et, sur certains benchmarks, atteint même des performances comparables à un entraînement complet du décodeur avec le LLM cible. De plus, notre approche d'entraînement par substitution réduit les coûts globaux d'entraînement des VLMs d'environ 45 % lorsque Llama-70B est utilisé comme décodeur.

English

Vision language models (VLMs) typically pair a modestly sized vision encoder with a large language model (LLM), e.g., Llama-70B, making the decoder the primary computational burden during training. To reduce costs, a potential promising strategy is to first train the vision encoder using a small language model before transferring it to the large one. We construct small "surrogate models" that share the same embedding space and representation language as the large target LLM by directly inheriting its shallow layers. Vision encoders trained on the surrogate can then be directly transferred to the larger model, a process we call zero-shot grafting -- when plugged directly into the full-size target LLM, the grafted pair surpasses the encoder-surrogate pair and, on some benchmarks, even performs on par with full decoder training with the target LLM. Furthermore, our surrogate training approach reduces overall VLM training costs by ~45% when using Llama-70B as the decoder.