Null-Shot-Vision-Encoder-Veredelung mittels LLM-Surrogaten

Zero-Shot Vision Encoder Grafting via LLM Surrogates

May 28, 2025

Autoren: Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) kombinieren typischerweise einen moderat großen Vision-Encoder mit einem großen Sprachmodell (LLM), z.B. Llama-70B, wodurch der Decoder die primäre Rechenlast während des Trainings darstellt. Um die Kosten zu senken, ist eine vielversprechende Strategie, den Vision-Encoder zunächst mit einem kleinen Sprachmodell zu trainieren, bevor er auf das große Modell übertragen wird. Wir konstruieren kleine „Surrogate-Modelle“, die denselben Einbettungsraum und dieselbe Repräsentationssprache wie das große Ziel-LLM teilen, indem sie dessen flache Schichten direkt übernehmen. Vision-Encoder, die auf dem Surrogate trainiert wurden, können dann direkt auf das größere Modell übertragen werden – ein Prozess, den wir als Zero-Shot-Grafting bezeichnen. Wenn das gepaarte Modell direkt in das vollständige Ziel-LLM integriert wird, übertrifft es das Encoder-Surrogate-Paar und erreicht auf einigen Benchmarks sogar eine vergleichbare Leistung wie das vollständige Decoder-Training mit dem Ziel-LLM. Darüber hinaus reduziert unser Surrogate-Trainingsansatz die Gesamtkosten für das VLM-Training um ~45 %, wenn Llama-70B als Decoder verwendet wird.

English

Vision language models (VLMs) typically pair a modestly sized vision encoder with a large language model (LLM), e.g., Llama-70B, making the decoder the primary computational burden during training. To reduce costs, a potential promising strategy is to first train the vision encoder using a small language model before transferring it to the large one. We construct small "surrogate models" that share the same embedding space and representation language as the large target LLM by directly inheriting its shallow layers. Vision encoders trained on the surrogate can then be directly transferred to the larger model, a process we call zero-shot grafting -- when plugged directly into the full-size target LLM, the grafted pair surpasses the encoder-surrogate pair and, on some benchmarks, even performs on par with full decoder training with the target LLM. Furthermore, our surrogate training approach reduces overall VLM training costs by ~45% when using Llama-70B as the decoder.