Adaptação de Modelos Visão-Linguagem Sem Rótulos: Um Estudo Abrangente

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

August 7, 2025

Autores: Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

cs.AI

Resumo

Modelos Visão-Linguagem (VLMs) têm demonstrado capacidades notáveis de generalização em uma ampla gama de tarefas. No entanto, seu desempenho frequentemente permanece subótimo quando aplicado diretamente a cenários específicos de downstream sem adaptação específica para a tarefa. Para aumentar sua utilidade enquanto preserva a eficiência de dados, pesquisas recentes têm se concentrado cada vez mais em métodos de adaptação não supervisionados que não dependem de dados rotulados. Apesar do crescente interesse nessa área, ainda há uma falta de uma pesquisa unificada e orientada para tarefas dedicada à adaptação não supervisionada de VLMs. Para preencher essa lacuna, apresentamos uma visão geral abrangente e estruturada do campo. Propomos uma taxonomia baseada na disponibilidade e natureza dos dados visuais não rotulados, categorizando as abordagens existentes em quatro paradigmas principais: Transferência Sem Dados (nenhum dado), Transferência de Domínio Não Supervisionada (dados abundantes), Adaptação Episódica em Tempo de Teste (dados em lote) e Adaptação Online em Tempo de Teste (dados em fluxo). Dentro desse framework, analisamos as metodologias centrais e estratégias de adaptação associadas a cada paradigma, com o objetivo de estabelecer uma compreensão sistemática do campo. Além disso, revisamos benchmarks representativos em diversas aplicações e destacamos desafios em aberto e direções promissoras para pesquisas futuras. Um repositório ativamente mantido da literatura relevante está disponível em https://github.com/tim-learn/Awesome-LabelFree-VLMs.

English

Vision-Language Models (VLMs) have demonstrated remarkable generalization capabilities across a wide range of tasks. However, their performance often remains suboptimal when directly applied to specific downstream scenarios without task-specific adaptation. To enhance their utility while preserving data efficiency, recent research has increasingly focused on unsupervised adaptation methods that do not rely on labeled data. Despite the growing interest in this area, there remains a lack of a unified, task-oriented survey dedicated to unsupervised VLM adaptation. To bridge this gap, we present a comprehensive and structured overview of the field. We propose a taxonomy based on the availability and nature of unlabeled visual data, categorizing existing approaches into four key paradigms: Data-Free Transfer (no data), Unsupervised Domain Transfer (abundant data), Episodic Test-Time Adaptation (batch data), and Online Test-Time Adaptation (streaming data). Within this framework, we analyze core methodologies and adaptation strategies associated with each paradigm, aiming to establish a systematic understanding of the field. Additionally, we review representative benchmarks across diverse applications and highlight open challenges and promising directions for future research. An actively maintained repository of relevant literature is available at https://github.com/tim-learn/Awesome-LabelFree-VLMs.