Visie-taalmodellen aanpassen zonder labels: een uitgebreid overzicht

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

August 7, 2025

Auteurs: Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

cs.AI

Samenvatting

Vision-Language Models (VLMs) hebben opmerkelijke generalisatiecapaciteiten getoond over een breed scala aan taken. Hun prestaties blijven echter vaak suboptimaal wanneer ze direct worden toegepast op specifieke downstreamscenario's zonder taakspecifieke aanpassing. Om hun bruikbaarheid te vergroten terwijl de data-efficiëntie behouden blijft, heeft recent onderzoek zich steeds meer gericht op onbewaakte aanpassingsmethoden die niet afhankelijk zijn van gelabelde data. Ondanks de groeiende interesse in dit gebied, ontbreekt het nog aan een uniforme, taakgerichte overzichtsstudie gewijd aan onbewaakte VLM-aanpassing. Om deze kloof te overbruggen, presenteren we een uitgebreid en gestructureerd overzicht van het vakgebied. We stellen een taxonomie voor op basis van de beschikbaarheid en aard van ongelabelde visuele data, waarbij bestaande benaderingen worden ingedeeld in vier belangrijke paradigma's: Data-Free Transfer (geen data), Unsupervised Domain Transfer (overvloedige data), Episodic Test-Time Adaptation (batchdata) en Online Test-Time Adaptation (streamingdata). Binnen dit kader analyseren we kernmethodologieën en aanpassingsstrategieën die bij elk paradigma horen, met als doel een systematisch begrip van het vakgebied te creëren. Daarnaast bespreken we representatieve benchmarks voor diverse toepassingen en belichten we openstaande uitdagingen en veelbelovende richtingen voor toekomstig onderzoek. Een actief onderhouden repository van relevante literatuur is beschikbaar op https://github.com/tim-learn/Awesome-LabelFree-VLMs.

English

Vision-Language Models (VLMs) have demonstrated remarkable generalization capabilities across a wide range of tasks. However, their performance often remains suboptimal when directly applied to specific downstream scenarios without task-specific adaptation. To enhance their utility while preserving data efficiency, recent research has increasingly focused on unsupervised adaptation methods that do not rely on labeled data. Despite the growing interest in this area, there remains a lack of a unified, task-oriented survey dedicated to unsupervised VLM adaptation. To bridge this gap, we present a comprehensive and structured overview of the field. We propose a taxonomy based on the availability and nature of unlabeled visual data, categorizing existing approaches into four key paradigms: Data-Free Transfer (no data), Unsupervised Domain Transfer (abundant data), Episodic Test-Time Adaptation (batch data), and Online Test-Time Adaptation (streaming data). Within this framework, we analyze core methodologies and adaptation strategies associated with each paradigm, aiming to establish a systematic understanding of the field. Additionally, we review representative benchmarks across diverse applications and highlight open challenges and promising directions for future research. An actively maintained repository of relevant literature is available at https://github.com/tim-learn/Awesome-LabelFree-VLMs.