AutoCLIP: Automatisch afstemmen van zero-shot classificatoren voor visueel-taalmodelen

AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models

September 28, 2023

Auteurs: Jan Hendrik Metzen, Piyapat Saranrittichai, Chaithanya Kumar Mummadi

cs.AI

Samenvatting

Classifiers gebaseerd op visie-taalmodellen zoals CLIP hebben opmerkelijke zero-shot prestaties getoond over een breed scala aan beeldclassificatietaken. Eerder onderzoek heeft verschillende manieren bestudeerd om automatisch descriptorensets voor elke klasse te creëren op basis van promptsjablonen, variërend van handmatig ontworpen sjablonen tot sjablonen verkregen uit een groot taalmodel en sjablonen opgebouwd uit willekeurige woorden en karakters. Daarentegen is het afleiden van zero-shot classifiers uit de respectievelijk gecodeerde klassedescriptoren vrijwel onveranderd gebleven, namelijk: classificeer naar de klasse die de cosinusgelijkenis tussen de gemiddelde gecodeerde klassedescriptoren en het gecodeerde beeld maximaliseert. Het echter gelijkelijk wegen van alle klassedescriptoren kan suboptimaal zijn wanneer bepaalde descriptoren visuele aanwijzingen op een bepaald beeld beter matchen dan andere. In dit werk stellen we AutoCLIP voor, een methode voor het automatisch afstemmen van zero-shot classifiers. AutoCLIP wijst aan elke promptsjabloon per-beeld gewichten toe, die worden afgeleid uit statistieken van klassedescriptor-beeldgelijkenissen tijdens de inferentietijd. AutoCLIP is volledig onbewaakt, heeft zeer weinig overhead en kan eenvoudig worden geïmplementeerd in enkele regels code. We tonen aan dat voor een breed scala aan visie-taalmodellen, datasets en promptsjablonen, AutoCLIP de baseline consistent overtreft en tot 3 procentpunt nauwkeurigheid verbetert.

English

Classifiers built upon vision-language models such as CLIP have shown remarkable zero-shot performance across a broad range of image classification tasks. Prior work has studied different ways of automatically creating descriptor sets for every class based on prompt templates, ranging from manually engineered templates over templates obtained from a large language model to templates built from random words and characters. In contrast, deriving zero-shot classifiers from the respective encoded class descriptors has remained nearly unchanged, that is: classify to the class that maximizes the cosine similarity between its averaged encoded class descriptors and the encoded image. However, weighting all class descriptors equally can be suboptimal when certain descriptors match visual clues on a given image better than others. In this work, we propose AutoCLIP, a method for auto-tuning zero-shot classifiers. AutoCLIP assigns to each prompt template per-image weights, which are derived from statistics of class descriptor-image similarities at inference time. AutoCLIP is fully unsupervised, has very low overhead, and can be easily implemented in few lines of code. We show that for a broad range of vision-language models, datasets, and prompt templates, AutoCLIP outperforms baselines consistently and by up to 3 percent point accuracy.