VLsI: Вербализованные слои-взаимодействия от больших к малым моделям видения на языке.

VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models

December 2, 2024

Авторы: Byung-Kwan Lee, Ryo Hachiuma, Yu-Chiang Frank Wang, Yong Man Ro, Yueh-Hua Wu

cs.AI

Аннотация

Недавний всплеск высококачественных образцов настройки визуальных инструкций от моделей видео-языкового восприятия (VLM), таких как GPT-4V, ускорил выпуск открытых VLM различных размеров моделей. Однако масштабирование VLM для улучшения производительности с использованием более крупных моделей представляет существенные вычислительные вызовы, особенно для развертывания на ресурсоемких устройствах, таких как мобильные платформы и роботы. Для решения этой проблемы мы предлагаем VLsI: Вербализованные Слои-взаимодействия, новое семейство VLM размеров моделей 2B и 7B, которое приоритизирует эффективность, не жертвуя точностью. VLsI использует уникальный процесс дистилляции слоев, вводя промежуточные "вербализаторы", которые отображают признаки с каждого слоя в пространство естественного языка, позволяя более маленьким VLM гибко выравниваться с процессами рассуждения более крупных VLM. Этот подход смягчает нестабильность обучения, часто встречающуюся при имитации вывода, и выходит за рамки типичной настройки финального слоя, выравнивая прогрессирование слоев маленьких VLM с прогрессированием больших. Мы проверяем VLsI на десяти сложных бенчмарках видео-языкового восприятия, достигая значительного увеличения производительности (11,0% для 2B и 17,4% для 7B) по сравнению с GPT-4V без необходимости масштабирования, слияния или изменения архитектуры модели.

English

The recent surge in high-quality visual instruction tuning samples from closed-source vision-language models (VLMs) such as GPT-4V has accelerated the release of open-source VLMs across various model sizes. However, scaling VLMs to improve performance using larger models brings significant computational challenges, especially for deployment on resource-constrained devices like mobile platforms and robots. To address this, we propose VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model sizes, which prioritizes efficiency without compromising accuracy. VLsI leverages a unique, layer-wise distillation process, introducing intermediate "verbalizers" that map features from each layer to natural language space, allowing smaller VLMs to flexibly align with the reasoning processes of larger VLMs. This approach mitigates the training instability often encountered in output imitation and goes beyond typical final-layer tuning by aligning the small VLMs' layer-wise progression with that of the large ones. We validate VLsI across ten challenging vision-language benchmarks, achieving notable performance gains (11.0% for 2B and 17.4% for 7B) over GPT-4V without the need for model scaling, merging, or architectural changes.