AutoCLIP: Ajuste Automático de Classificadores Zero-Shot para Modelos de Visão e Linguagem

AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models

September 28, 2023

Autores: Jan Hendrik Metzen, Piyapat Saranrittichai, Chaithanya Kumar Mummadi

cs.AI

Resumo

Classificadores construídos sobre modelos de visão e linguagem, como o CLIP, demonstraram desempenho notável em tarefas de classificação de imagens em cenários de zero-shot. Trabalhos anteriores exploraram diferentes maneiras de criar automaticamente conjuntos de descritores para cada classe com base em modelos de prompt, variando desde modelos manualmente projetados até modelos obtidos de um grande modelo de linguagem, e até modelos construídos a partir de palavras e caracteres aleatórios. Em contraste, a derivação de classificadores zero-shot a partir dos descritores de classe codificados permaneceu praticamente inalterada, ou seja: classificar para a classe que maximiza a similaridade de cosseno entre seus descritores de classe codificados e a imagem codificada. No entanto, ponderar todos os descritores de classe igualmente pode ser subótimo quando certos descritores correspondem melhor a pistas visuais em uma determinada imagem do que outros. Neste trabalho, propomos o AutoCLIP, um método para ajustar automaticamente classificadores zero-shot. O AutoCLIP atribui a cada modelo de prompt pesos por imagem, que são derivados de estatísticas de similaridades entre descritores de classe e imagem no momento da inferência. O AutoCLIP é totalmente não supervisionado, tem um custo computacional muito baixo e pode ser facilmente implementado em poucas linhas de código. Demonstramos que, para uma ampla gama de modelos de visão e linguagem, conjuntos de dados e modelos de prompt, o AutoCLIP supera as linhas de base de forma consistente e com ganhos de até 3 pontos percentuais de precisão.

English

Classifiers built upon vision-language models such as CLIP have shown remarkable zero-shot performance across a broad range of image classification tasks. Prior work has studied different ways of automatically creating descriptor sets for every class based on prompt templates, ranging from manually engineered templates over templates obtained from a large language model to templates built from random words and characters. In contrast, deriving zero-shot classifiers from the respective encoded class descriptors has remained nearly unchanged, that is: classify to the class that maximizes the cosine similarity between its averaged encoded class descriptors and the encoded image. However, weighting all class descriptors equally can be suboptimal when certain descriptors match visual clues on a given image better than others. In this work, we propose AutoCLIP, a method for auto-tuning zero-shot classifiers. AutoCLIP assigns to each prompt template per-image weights, which are derived from statistics of class descriptor-image similarities at inference time. AutoCLIP is fully unsupervised, has very low overhead, and can be easily implemented in few lines of code. We show that for a broad range of vision-language models, datasets, and prompt templates, AutoCLIP outperforms baselines consistently and by up to 3 percent point accuracy.