Адаптация моделей «зрение-язык» без использования меток: всесторонний обзор

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

August 7, 2025

Авторы: Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), продемонстрировали выдающиеся способности к обобщению в широком спектре задач. Однако их производительность часто остается неоптимальной при прямом применении к конкретным сценариям без адаптации под конкретную задачу. Для повышения их полезности при сохранении эффективности использования данных в последних исследованиях все больше внимания уделяется методам неконтролируемой адаптации, которые не требуют размеченных данных. Несмотря на растущий интерес к этой области, до сих пор отсутствует единый, ориентированный на задачи обзор, посвященный неконтролируемой адаптации VLMs. Чтобы восполнить этот пробел, мы представляем всесторонний и структурированный обзор данной области. Мы предлагаем таксономию, основанную на доступности и характере немаркированных визуальных данных, классифицируя существующие подходы на четыре ключевые парадигмы: передача без данных (Data-Free Transfer), неконтролируемая передача между доменами (Unsupervised Domain Transfer), адаптация на этапе тестирования с использованием пакетных данных (Episodic Test-Time Adaptation) и адаптация на этапе тестирования в режиме реального времени (Online Test-Time Adaptation). В рамках этой структуры мы анализируем основные методологии и стратегии адаптации, связанные с каждой парадигмой, стремясь установить систематическое понимание области. Кроме того, мы рассматриваем репрезентативные бенчмарки для различных приложений и выделяем открытые вызовы и перспективные направления для будущих исследований. Активно поддерживаемый репозиторий соответствующей литературы доступен по адресу https://github.com/tim-learn/Awesome-LabelFree-VLMs.

English

Vision-Language Models (VLMs) have demonstrated remarkable generalization capabilities across a wide range of tasks. However, their performance often remains suboptimal when directly applied to specific downstream scenarios without task-specific adaptation. To enhance their utility while preserving data efficiency, recent research has increasingly focused on unsupervised adaptation methods that do not rely on labeled data. Despite the growing interest in this area, there remains a lack of a unified, task-oriented survey dedicated to unsupervised VLM adaptation. To bridge this gap, we present a comprehensive and structured overview of the field. We propose a taxonomy based on the availability and nature of unlabeled visual data, categorizing existing approaches into four key paradigms: Data-Free Transfer (no data), Unsupervised Domain Transfer (abundant data), Episodic Test-Time Adaptation (batch data), and Online Test-Time Adaptation (streaming data). Within this framework, we analyze core methodologies and adaptation strategies associated with each paradigm, aiming to establish a systematic understanding of the field. Additionally, we review representative benchmarks across diverse applications and highlight open challenges and promising directions for future research. An actively maintained repository of relevant literature is available at https://github.com/tim-learn/Awesome-LabelFree-VLMs.