GLOV: Modelli Linguistici Guidati come Ottimizzatori Impliciti per la Visione

GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

October 8, 2024

Autori: M. Jehanzeb Mirza, Mengjie Zhao, Zhuoyuan Mao, Sivan Doveh, Wei Lin, Paul Gavrikov, Michael Dorkenwald, Shiqi Yang, Saurav Jha, Hiromi Wakaki, Yuki Mitsufuji, Horst Possegger, Rogerio Feris, Leonid Karlinsky, James Glass

cs.AI

Abstract

In questo lavoro, proponiamo un nuovo metodo (GLOV) che consente ai Grandi Modelli Linguistici (LLM) di agire come Ottimizzatori impliciti per i Modelli Visione-Linguaggio (VLM) al fine di migliorare i compiti di visione successivi. Il nostro GLOV meta-interroga un LLM con la descrizione del compito successivo, interrogandolo per ottenere prompt VLM adatti (ad esempio, per la classificazione zero-shot con CLIP). Questi prompt sono classificati in base a una misura di purezza ottenuta attraverso una funzione di idoneità. In ciascun passo di ottimizzazione rispettivo, i prompt classificati vengono forniti come esempi contestuali (con le loro accuratezze) per dotare il LLM della conoscenza del tipo di prompt di testo preferito dal VLM successivo. Inoltre, guidiamo esplicitamente il processo di generazione del LLM in ciascun passo di ottimizzazione aggiungendo specificamente un vettore di differenza di offset degli embedding dalle soluzioni positive e negative trovate dal LLM, nei passi di ottimizzazione precedenti, allo strato intermedio della rete per il passo di generazione successivo. Questo vettore di offset guida la generazione del LLM verso il tipo di linguaggio preferito dal VLM successivo, risultando in una performance migliorata sui compiti di visione successivi. Valutiamo in modo esaustivo il nostro GLOV su 16 set di dati diversi utilizzando due famiglie di VLM, ovvero modelli dual-encoder (ad esempio, CLIP) e encoder-decoder (ad esempio, modelli LLaVa) - dimostrando che le soluzioni scoperte possono migliorare le prestazioni di riconoscimento fino al 15,0% e 57,5% (3,8% e 21,6% in media) per questi modelli.

English

In this work, we propose a novel method (GLOV) enabling Large Language Models (LLMs) to act as implicit Optimizers for Vision-Langugage Models (VLMs) to enhance downstream vision tasks. Our GLOV meta-prompts an LLM with the downstream task description, querying it for suitable VLM prompts (e.g., for zero-shot classification with CLIP). These prompts are ranked according to a purity measure obtained through a fitness function. In each respective optimization step, the ranked prompts are fed as in-context examples (with their accuracies) to equip the LLM with the knowledge of the type of text prompts preferred by the downstream VLM. Furthermore, we also explicitly steer the LLM generation process in each optimization step by specifically adding an offset difference vector of the embeddings from the positive and negative solutions found by the LLM, in previous optimization steps, to the intermediate layer of the network for the next generation step. This offset vector steers the LLM generation toward the type of language preferred by the downstream VLM, resulting in enhanced performance on the downstream vision tasks. We comprehensively evaluate our GLOV on 16 diverse datasets using two families of VLMs, i.e., dual-encoder (e.g., CLIP) and encoder-decoder (e.g., LLaVa) models -- showing that the discovered solutions can enhance the recognition performance by up to 15.0% and 57.5% (3.8% and 21.6% on average) for these models.