AutoCLIP: Ajuste Automático de Clasificadores de Cero Disparos para Modelos de Visión y Lenguaje

AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models

September 28, 2023

Autores: Jan Hendrik Metzen, Piyapat Saranrittichai, Chaithanya Kumar Mummadi

cs.AI

Resumen

Los clasificadores basados en modelos de visión y lenguaje como CLIP han demostrado un rendimiento notable en tareas de clasificación de imágenes en escenarios de cero disparos (zero-shot). Trabajos previos han estudiado diferentes formas de crear automáticamente conjuntos de descriptores para cada clase basados en plantillas de prompts, que van desde plantillas diseñadas manualmente hasta aquellas obtenidas de un modelo de lenguaje grande o construidas a partir de palabras y caracteres aleatorios. En contraste, la derivación de clasificadores de cero disparos a partir de los descriptores de clase codificados ha permanecido prácticamente sin cambios, es decir: clasificar en la clase que maximiza la similitud del coseno entre sus descriptores de clase codificados promediados y la imagen codificada. Sin embargo, ponderar todos los descriptores de clase por igual puede ser subóptimo cuando ciertos descriptores coinciden mejor con las pistas visuales de una imagen dada que otros. En este trabajo, proponemos AutoCLIP, un método para el ajuste automático de clasificadores de cero disparos. AutoCLIP asigna a cada plantilla de prompt pesos por imagen, que se derivan de estadísticas de similitudes entre descriptores de clase e imagen en tiempo de inferencia. AutoCLIP es completamente no supervisado, tiene un costo computacional muy bajo y puede implementarse fácilmente en pocas líneas de código. Demostramos que, para una amplia gama de modelos de visión y lenguaje, conjuntos de datos y plantillas de prompts, AutoCLIP supera consistentemente a los métodos base, alcanzando mejoras de hasta 3 puntos porcentuales en precisión.

English

Classifiers built upon vision-language models such as CLIP have shown remarkable zero-shot performance across a broad range of image classification tasks. Prior work has studied different ways of automatically creating descriptor sets for every class based on prompt templates, ranging from manually engineered templates over templates obtained from a large language model to templates built from random words and characters. In contrast, deriving zero-shot classifiers from the respective encoded class descriptors has remained nearly unchanged, that is: classify to the class that maximizes the cosine similarity between its averaged encoded class descriptors and the encoded image. However, weighting all class descriptors equally can be suboptimal when certain descriptors match visual clues on a given image better than others. In this work, we propose AutoCLIP, a method for auto-tuning zero-shot classifiers. AutoCLIP assigns to each prompt template per-image weights, which are derived from statistics of class descriptor-image similarities at inference time. AutoCLIP is fully unsupervised, has very low overhead, and can be easily implemented in few lines of code. We show that for a broad range of vision-language models, datasets, and prompt templates, AutoCLIP outperforms baselines consistently and by up to 3 percent point accuracy.