GenRecal: Generatie na Herkalibratie van Grote naar Kleine Vision-Taalmodellen

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

June 18, 2025

Auteurs: Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

cs.AI

Samenvatting

Recente vooruitgang in visie-taalmodelen (VLMs) heeft gebruik gemaakt van grote taalmodelen (LLMs) om prestaties te bereiken die vergelijkbaar zijn met closed-source systemen zoals GPT-4V. Het inzetten van deze modellen in real-world scenario's, met name op apparaten met beperkte middelen, blijft echter een uitdaging vanwege hun aanzienlijke rekenkundige eisen. Dit heeft de interesse gewekt in het destilleren van kennis uit grote VLMs naar kleinere, efficiëntere tegenhangers. Een belangrijke uitdaging hierbij is de diversiteit van VLM-architecturen, die gebaseerd zijn op verschillende LLMs en gebruik maken van verschillende tokentypes, variërend in vocabulairegrootte, tokensplitsingen en tokenindexordening. Om deze uitdaging van beperking tot een specifiek VLM-type aan te pakken, presenteren we Generation after Recalibration (GenRecal), een nieuw, algemeen toepasbaar destillatiekader voor VLMs. GenRecal bevat een Recalibrator die feature-representaties tussen heterogene VLMs uitlijnt en aanpast, waardoor effectieve kennisoverdracht tussen verschillende soorten VLMs mogelijk wordt. Door uitgebreide experimenten op meerdere uitdagende benchmarks tonen we aan dat GenRecal de basisprestaties aanzienlijk verbetert en uiteindelijk grootschalige open- en closed-source VLMs overtreft.

English

Recent advancements in vision-language models (VLMs) have leveraged large language models (LLMs) to achieve performance on par with closed-source systems like GPT-4V. However, deploying these models in real-world scenarios, particularly on resource-constrained devices, remains challenging due to their substantial computational demands. This has spurred interest in distilling knowledge from large VLMs into smaller, more efficient counterparts. A key challenge arises here from the diversity of VLM architectures, which are built on different LLMs and employ varying token types-differing in vocabulary size, token splits, and token index ordering. To address this challenge of limitation to a specific VLM type, we present Generation after Recalibration (GenRecal), a novel, general-purpose distillation framework for VLMs. GenRecal incorporates a Recalibrator that aligns and adapts feature representations between heterogeneous VLMs, enabling effective knowledge transfer across different types of VLMs. Through extensive experiments on multiple challenging benchmarks, we demonstrate that GenRecal significantly improves baseline performances, eventually outperforming large-scale open- and closed-source VLMs.