Adaptation des modèles vision-langage sans étiquettes : une étude approfondie

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

August 7, 2025

papers.authors: Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

cs.AI

papers.abstract

Les modèles vision-langage (VLMs) ont démontré des capacités de généralisation remarquables sur une large gamme de tâches. Cependant, leurs performances restent souvent sous-optimales lorsqu'ils sont appliqués directement à des scénarios spécifiques en aval sans adaptation spécifique à la tâche. Pour améliorer leur utilité tout en préservant l'efficacité des données, les recherches récentes se sont de plus en plus concentrées sur des méthodes d'adaptation non supervisées qui ne reposent pas sur des données étiquetées. Malgré l'intérêt croissant pour ce domaine, il manque encore une étude unifiée et orientée tâche dédiée à l'adaptation non supervisée des VLMs. Pour combler cette lacune, nous présentons un aperçu complet et structuré du domaine. Nous proposons une taxonomie basée sur la disponibilité et la nature des données visuelles non étiquetées, classant les approches existantes en quatre paradigmes clés : Transfert Sans Données (aucune donnée), Transfert de Domaine Non Supervisé (données abondantes), Adaptation Épisodique au Moment du Test (données par lots), et Adaptation Continue au Moment du Test (données en flux). Dans ce cadre, nous analysons les méthodologies principales et les stratégies d'adaptation associées à chaque paradigme, visant à établir une compréhension systématique du domaine. De plus, nous passons en revue des benchmarks représentatifs à travers diverses applications et mettons en lumière les défis ouverts et les directions prometteuses pour les recherches futures. Un dépôt de littérature pertinente activement maintenu est disponible à l'adresse suivante : https://github.com/tim-learn/Awesome-LabelFree-VLMs.

English

Vision-Language Models (VLMs) have demonstrated remarkable generalization capabilities across a wide range of tasks. However, their performance often remains suboptimal when directly applied to specific downstream scenarios without task-specific adaptation. To enhance their utility while preserving data efficiency, recent research has increasingly focused on unsupervised adaptation methods that do not rely on labeled data. Despite the growing interest in this area, there remains a lack of a unified, task-oriented survey dedicated to unsupervised VLM adaptation. To bridge this gap, we present a comprehensive and structured overview of the field. We propose a taxonomy based on the availability and nature of unlabeled visual data, categorizing existing approaches into four key paradigms: Data-Free Transfer (no data), Unsupervised Domain Transfer (abundant data), Episodic Test-Time Adaptation (batch data), and Online Test-Time Adaptation (streaming data). Within this framework, we analyze core methodologies and adaptation strategies associated with each paradigm, aiming to establish a systematic understanding of the field. Additionally, we review representative benchmarks across diverse applications and highlight open challenges and promising directions for future research. An actively maintained repository of relevant literature is available at https://github.com/tim-learn/Awesome-LabelFree-VLMs.