GenRecal: Generierung nach Rekalibrierung von großen zu kleinen Vision-Sprache-Modellen

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

June 18, 2025

Autoren: Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

cs.AI

Zusammenfassung

Jüngste Fortschritte in Vision-Sprach-Modellen (VLMs) haben große Sprachmodelle (LLMs) genutzt, um Leistungen auf Augenhöhe mit geschlossenen Systemen wie GPT-4V zu erzielen. Die Bereitstellung dieser Modelle in realen Anwendungen, insbesondere auf ressourcenbeschränkten Geräten, bleibt jedoch aufgrund ihres erheblichen Rechenbedarfs eine Herausforderung. Dies hat das Interesse an der Wissensdestillation aus großen VLMs in kleinere, effizientere Gegenstücke geweckt. Eine zentrale Herausforderung ergibt sich hier aus der Vielfalt der VLM-Architekturen, die auf verschiedenen LLMs basieren und unterschiedliche Token-Typen verwenden – mit Unterschieden in der Vokabulargröße, Token-Aufteilungen und der Reihenfolge der Token-Indizes. Um diese Herausforderung der Beschränkung auf einen spezifischen VLM-Typ zu bewältigen, präsentieren wir Generation after Recalibration (GenRecal), ein neuartiges, allgemeines Destillationsframework für VLMs. GenRecal integriert einen Recalibrator, der Feature-Repräsentationen zwischen heterogenen VLMs ausrichtet und anpasst, wodurch ein effektiver Wissenstransfer über verschiedene VLM-Typen hinweg ermöglicht wird. Durch umfangreiche Experimente auf mehreren anspruchsvollen Benchmarks zeigen wir, dass GenRecal die Baseline-Leistungen signifikant verbessert und schließlich groß angelegte Open- und Closed-Source-VLMs übertrifft.

English

Recent advancements in vision-language models (VLMs) have leveraged large language models (LLMs) to achieve performance on par with closed-source systems like GPT-4V. However, deploying these models in real-world scenarios, particularly on resource-constrained devices, remains challenging due to their substantial computational demands. This has spurred interest in distilling knowledge from large VLMs into smaller, more efficient counterparts. A key challenge arises here from the diversity of VLM architectures, which are built on different LLMs and employ varying token types-differing in vocabulary size, token splits, and token index ordering. To address this challenge of limitation to a specific VLM type, we present Generation after Recalibration (GenRecal), a novel, general-purpose distillation framework for VLMs. GenRecal incorporates a Recalibrator that aligns and adapts feature representations between heterogeneous VLMs, enabling effective knowledge transfer across different types of VLMs. Through extensive experiments on multiple challenging benchmarks, we demonstrate that GenRecal significantly improves baseline performances, eventually outperforming large-scale open- and closed-source VLMs.