GenRecal: Генерация после повторной калибровки от крупных к малым моделям "визуальный язык"

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

June 18, 2025

Авторы: Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

cs.AI

Аннотация

Последние достижения в области моделей, объединяющих зрение и язык (Vision-Language Models, VLMs), позволили использовать крупные языковые модели (Large Language Models, LLMs) для достижения производительности, сопоставимой с закрытыми системами, такими как GPT-4V. Однако развертывание этих моделей в реальных сценариях, особенно на устройствах с ограниченными ресурсами, остается сложной задачей из-за их значительных вычислительных требований. Это стимулировало интерес к дистилляции знаний из крупных VLMs в более компактные и эффективные аналоги. Ключевая проблема здесь заключается в разнообразии архитектур VLMs, которые основаны на различных LLMs и используют различные типы токенов, отличающиеся размером словаря, разделением токенов и порядком их индексов. Для решения этой проблемы, связанной с ограничением на конкретный тип VLM, мы представляем Generation after Recalibration (GenRecal) — новый универсальный фреймворк для дистилляции VLMs. GenRecal включает в себя Recalibrator, который выравнивает и адаптирует представления признаков между гетерогенными VLMs, обеспечивая эффективный перенос знаний между различными типами VLMs. В ходе обширных экспериментов на множестве сложных тестовых наборов мы демонстрируем, что GenRecal значительно улучшает базовые показатели, в конечном итоге превосходя крупномасштабные открытые и закрытые VLMs.

English

Recent advancements in vision-language models (VLMs) have leveraged large language models (LLMs) to achieve performance on par with closed-source systems like GPT-4V. However, deploying these models in real-world scenarios, particularly on resource-constrained devices, remains challenging due to their substantial computational demands. This has spurred interest in distilling knowledge from large VLMs into smaller, more efficient counterparts. A key challenge arises here from the diversity of VLM architectures, which are built on different LLMs and employ varying token types-differing in vocabulary size, token splits, and token index ordering. To address this challenge of limitation to a specific VLM type, we present Generation after Recalibration (GenRecal), a novel, general-purpose distillation framework for VLMs. GenRecal incorporates a Recalibrator that aligns and adapts feature representations between heterogeneous VLMs, enabling effective knowledge transfer across different types of VLMs. Through extensive experiments on multiple challenging benchmarks, we demonstrate that GenRecal significantly improves baseline performances, eventually outperforming large-scale open- and closed-source VLMs.