Innesto di Encoder Visivi Zero-Shot tramite Surrogati di LLM
Zero-Shot Vision Encoder Grafting via LLM Surrogates
May 28, 2025
Autori: Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein
cs.AI
Abstract
I modelli linguistici visivi (VLMs) tipicamente accoppiano un encoder visivo di dimensioni modeste con un grande modello linguistico (LLM), ad esempio Llama-70B, rendendo il decoder il principale onere computazionale durante l'addestramento. Per ridurre i costi, una strategia potenzialmente promettente consiste nel addestrare prima l'encoder visivo utilizzando un piccolo modello linguistico prima di trasferirlo a quello più grande. Costruiamo piccoli "modelli surrogati" che condividono lo stesso spazio di embedding e linguaggio di rappresentazione del grande LLM target ereditandone direttamente gli strati superficiali. Gli encoder visivi addestrati sul surrogato possono quindi essere trasferiti direttamente al modello più grande, un processo che chiamiamo innesto zero-shot: quando collegati direttamente al LLM target a grandezza naturale, la coppia innestata supera la coppia encoder-surrogato e, in alcuni benchmark, performa addirittura alla pari con l'addestramento completo del decoder con il LLM target. Inoltre, il nostro approccio di addestramento surrogato riduce i costi complessivi di addestramento dei VLM di circa il 45% quando si utilizza Llama-70B come decoder.
English
Vision language models (VLMs) typically pair a modestly sized vision encoder
with a large language model (LLM), e.g., Llama-70B, making the decoder the
primary computational burden during training. To reduce costs, a potential
promising strategy is to first train the vision encoder using a small language
model before transferring it to the large one. We construct small "surrogate
models" that share the same embedding space and representation language as the
large target LLM by directly inheriting its shallow layers. Vision encoders
trained on the surrogate can then be directly transferred to the larger model,
a process we call zero-shot grafting -- when plugged directly into the
full-size target LLM, the grafted pair surpasses the encoder-surrogate pair
and, on some benchmarks, even performs on par with full decoder training with
the target LLM. Furthermore, our surrogate training approach reduces overall
VLM training costs by ~45% when using Llama-70B as the decoder.