Anpassung von Vision-Sprache-Modellen ohne Labels: Eine umfassende Übersicht

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

August 7, 2025

papers.authors: Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

cs.AI

papers.abstract

Vision-Language-Modelle (VLMs) haben bemerkenswerte Generalisierungsfähigkeiten über eine breite Palette von Aufgaben hinweg gezeigt. Ihre Leistung bleibt jedoch oft suboptimal, wenn sie ohne aufgabenspezifische Anpassung direkt auf bestimmte Downstream-Szenarien angewendet werden. Um ihren Nutzen zu steigern und gleichzeitig die Dateneffizienz zu bewahren, hat sich die aktuelle Forschung zunehmend auf unüberwachte Anpassungsmethoden konzentriert, die nicht auf annotierte Daten angewiesen sind. Trotz des wachsenden Interesses in diesem Bereich fehlt es nach wie vor an einer einheitlichen, aufgabenorientierten Übersicht, die sich der unüberwachten Anpassung von VLMs widmet. Um diese Lücke zu schließen, präsentieren wir einen umfassenden und strukturierten Überblick über das Feld. Wir schlagen eine Taxonomie vor, die auf der Verfügbarkeit und Art der unannotierten visuellen Daten basiert und bestehende Ansätze in vier Schlüsselparadigmen kategorisiert: Data-Free Transfer (keine Daten), Unsupervised Domain Transfer (reichlich Daten), Episodic Test-Time Adaptation (Batch-Daten) und Online Test-Time Adaptation (Streaming-Daten). Innerhalb dieses Rahmens analysieren wir Kernmethoden und Anpassungsstrategien, die mit jedem Paradigma verbunden sind, mit dem Ziel, ein systematisches Verständnis des Feldes zu etablieren. Zusätzlich überprüfen wir repräsentative Benchmarks in verschiedenen Anwendungsbereichen und heben offene Herausforderungen sowie vielversprechende Richtungen für zukünftige Forschung hervor. Ein aktiv gepflegtes Repository relevanter Literatur ist unter https://github.com/tim-learn/Awesome-LabelFree-VLMs verfügbar.

English

Vision-Language Models (VLMs) have demonstrated remarkable generalization capabilities across a wide range of tasks. However, their performance often remains suboptimal when directly applied to specific downstream scenarios without task-specific adaptation. To enhance their utility while preserving data efficiency, recent research has increasingly focused on unsupervised adaptation methods that do not rely on labeled data. Despite the growing interest in this area, there remains a lack of a unified, task-oriented survey dedicated to unsupervised VLM adaptation. To bridge this gap, we present a comprehensive and structured overview of the field. We propose a taxonomy based on the availability and nature of unlabeled visual data, categorizing existing approaches into four key paradigms: Data-Free Transfer (no data), Unsupervised Domain Transfer (abundant data), Episodic Test-Time Adaptation (batch data), and Online Test-Time Adaptation (streaming data). Within this framework, we analyze core methodologies and adaptation strategies associated with each paradigm, aiming to establish a systematic understanding of the field. Additionally, we review representative benchmarks across diverse applications and highlight open challenges and promising directions for future research. An actively maintained repository of relevant literature is available at https://github.com/tim-learn/Awesome-LabelFree-VLMs.