GenRecal: Generazione dopo la Ricalibrazione da Modelli Linguistico-Visuali di Grande a Piccola Scala

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

June 18, 2025

Autori: Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

cs.AI

Abstract

I recenti progressi nei modelli visione-linguaggio (VLMs) hanno sfruttato i grandi modelli linguistici (LLMs) per raggiungere prestazioni paragonabili a sistemi proprietari come GPT-4V. Tuttavia, il dispiegamento di questi modelli in scenari reali, specialmente su dispositivi con risorse limitate, rimane una sfida a causa delle loro sostanziali esigenze computazionali. Ciò ha stimolato l'interesse nel distillare la conoscenza da grandi VLMs in controparti più piccole ed efficienti. Una sfida chiave emerge qui dalla diversità delle architetture VLM, che sono costruite su diversi LLMs e impiegano tipi di token variabili, differendo per dimensione del vocabolario, suddivisione dei token e ordinamento degli indici dei token. Per affrontare questa sfida legata alla limitazione a un tipo specifico di VLM, presentiamo Generation after Recalibration (GenRecal), un nuovo framework di distillazione generico per VLMs. GenRecal incorpora un Recalibratore che allinea e adatta le rappresentazioni delle feature tra VLMs eterogenei, consentendo un trasferimento efficace della conoscenza tra diversi tipi di VLMs. Attraverso esperimenti estesi su molteplici benchmark impegnativi, dimostriamo che GenRecal migliora significativamente le prestazioni di base, superando alla fine VLMs open-source e proprietari su larga scala.

English

Recent advancements in vision-language models (VLMs) have leveraged large language models (LLMs) to achieve performance on par with closed-source systems like GPT-4V. However, deploying these models in real-world scenarios, particularly on resource-constrained devices, remains challenging due to their substantial computational demands. This has spurred interest in distilling knowledge from large VLMs into smaller, more efficient counterparts. A key challenge arises here from the diversity of VLM architectures, which are built on different LLMs and employ varying token types-differing in vocabulary size, token splits, and token index ordering. To address this challenge of limitation to a specific VLM type, we present Generation after Recalibration (GenRecal), a novel, general-purpose distillation framework for VLMs. GenRecal incorporates a Recalibrator that aligns and adapts feature representations between heterogeneous VLMs, enabling effective knowledge transfer across different types of VLMs. Through extensive experiments on multiple challenging benchmarks, we demonstrate that GenRecal significantly improves baseline performances, eventually outperforming large-scale open- and closed-source VLMs.