GenRecal : Génération après recalibrage des grands aux petits modèles vision-langage
GenRecal: Generation after Recalibration from Large to Small Vision-Language Models
June 18, 2025
Auteurs: Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu
cs.AI
Résumé
Les récents progrès dans les modèles vision-langage (VLMs) ont exploité les grands modèles de langage (LLMs) pour atteindre des performances comparables à celles de systèmes propriétaires comme GPT-4V. Cependant, le déploiement de ces modèles dans des scénarios réels, en particulier sur des appareils aux ressources limitées, reste difficile en raison de leurs importantes exigences computationnelles. Cela a suscité un intérêt pour la distillation des connaissances des grands VLMs vers des versions plus petites et plus efficaces. Un défi majeur réside dans la diversité des architectures des VLMs, qui sont construites sur différents LLMs et utilisent divers types de tokens, différant par la taille du vocabulaire, les découpages de tokens et l'ordre des indices de tokens. Pour relever ce défi lié à la limitation à un type spécifique de VLM, nous présentons Generation after Recalibration (GenRecal), un nouveau cadre de distillation polyvalent pour les VLMs. GenRecal intègre un Recalibrateur qui aligne et adapte les représentations de caractéristiques entre des VLMs hétérogènes, permettant un transfert efficace des connaissances entre différents types de VLMs. Grâce à des expériences approfondies sur plusieurs benchmarks exigeants, nous démontrons que GenRecal améliore significativement les performances de base, surpassant finalement les VLMs à grande échelle, qu'ils soient open-source ou propriétaires.
English
Recent advancements in vision-language models (VLMs) have leveraged large
language models (LLMs) to achieve performance on par with closed-source systems
like GPT-4V. However, deploying these models in real-world scenarios,
particularly on resource-constrained devices, remains challenging due to their
substantial computational demands. This has spurred interest in distilling
knowledge from large VLMs into smaller, more efficient counterparts. A key
challenge arises here from the diversity of VLM architectures, which are built
on different LLMs and employ varying token types-differing in vocabulary size,
token splits, and token index ordering. To address this challenge of limitation
to a specific VLM type, we present Generation after Recalibration (GenRecal), a
novel, general-purpose distillation framework for VLMs. GenRecal incorporates a
Recalibrator that aligns and adapts feature representations between
heterogeneous VLMs, enabling effective knowledge transfer across different
types of VLMs. Through extensive experiments on multiple challenging
benchmarks, we demonstrate that GenRecal significantly improves baseline
performances, eventually outperforming large-scale open- and closed-source
VLMs.