Zero-Shot Vision Encoder Enting via LLM Surrogaten
Zero-Shot Vision Encoder Grafting via LLM Surrogates
May 28, 2025
Auteurs: Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein
cs.AI
Samenvatting
Vision language models (VLMs) combineren doorgaans een bescheiden vision encoder met een groot taalmodel (LLM), zoals Llama-70B, waardoor de decoder de primaire rekenlast vormt tijdens de training. Om de kosten te verlagen, is een potentieel veelbelovende strategie om eerst de vision encoder te trainen met een klein taalmodel voordat deze wordt overgedragen naar het grote model. We construeren kleine "surrogaatmodellen" die dezelfde embeddingruimte en representatietaal delen als het grote doel-LLM door direct de ondiepe lagen ervan over te nemen. Vision encoders die op het surrogaat zijn getraind, kunnen vervolgens direct worden overgedragen naar het grotere model, een proces dat we zero-shot grafting noemen — wanneer deze direct worden aangesloten op het volledige doel-LLM, presteert het gegrafeerde paar beter dan het encoder-surrogaat paar en presteert het op sommige benchmarks zelfs op hetzelfde niveau als volledige decoder training met het doel-LLM. Bovendien reduceert onze surrogaattrainingsaanpak de totale VLM-trainingskosten met ~45% wanneer Llama-70B als decoder wordt gebruikt.
English
Vision language models (VLMs) typically pair a modestly sized vision encoder
with a large language model (LLM), e.g., Llama-70B, making the decoder the
primary computational burden during training. To reduce costs, a potential
promising strategy is to first train the vision encoder using a small language
model before transferring it to the large one. We construct small "surrogate
models" that share the same embedding space and representation language as the
large target LLM by directly inheriting its shallow layers. Vision encoders
trained on the surrogate can then be directly transferred to the larger model,
a process we call zero-shot grafting -- when plugged directly into the
full-size target LLM, the grafted pair surpasses the encoder-surrogate pair
and, on some benchmarks, even performs on par with full decoder training with
the target LLM. Furthermore, our surrogate training approach reduces overall
VLM training costs by ~45% when using Llama-70B as the decoder.