Прививка Vision Encoder с нулевым обучением через суррогатные модели LLM

Zero-Shot Vision Encoder Grafting via LLM Surrogates

May 28, 2025

Авторы: Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision Language Models, VLMs), обычно сочетают относительно небольшой визуальный кодировщик с крупной языковой моделью (Large Language Model, LLM), например, Llama-70B, что делает декодер основной вычислительной нагрузкой в процессе обучения. Для снижения затрат перспективной стратегией может быть предварительное обучение визуального кодировщика с использованием небольшой языковой модели перед его переносом на крупную. Мы создаем небольшие "суррогатные модели", которые разделяют то же пространство встраиваний и язык представлений, что и целевая крупная LLM, путем прямого наследования ее поверхностных слоев. Визуальные кодировщики, обученные на суррогатной модели, могут быть непосредственно перенесены на более крупную модель — процесс, который мы называем нулевым прививанием (zero-shot grafting). При подключении непосредственно к полномасштабной целевой LLM привитая пара превосходит пару кодировщик-суррогат, а на некоторых тестовых наборах данных демонстрирует результаты, сопоставимые с полным обучением декодера с целевой LLM. Более того, наш подход к обучению на суррогатных моделях снижает общие затраты на обучение VLM примерно на 45% при использовании Llama-70B в качестве декодера.

English

Vision language models (VLMs) typically pair a modestly sized vision encoder with a large language model (LLM), e.g., Llama-70B, making the decoder the primary computational burden during training. To reduce costs, a potential promising strategy is to first train the vision encoder using a small language model before transferring it to the large one. We construct small "surrogate models" that share the same embedding space and representation language as the large target LLM by directly inheriting its shallow layers. Vision encoders trained on the surrogate can then be directly transferred to the larger model, a process we call zero-shot grafting -- when plugged directly into the full-size target LLM, the grafted pair surpasses the encoder-surrogate pair and, on some benchmarks, even performs on par with full decoder training with the target LLM. Furthermore, our surrogate training approach reduces overall VLM training costs by ~45% when using Llama-70B as the decoder.