GLOV: Geführte große Sprachmodelle als implizite Optimierer für die Vision

GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

October 8, 2024

Autoren: M. Jehanzeb Mirza, Mengjie Zhao, Zhuoyuan Mao, Sivan Doveh, Wei Lin, Paul Gavrikov, Michael Dorkenwald, Shiqi Yang, Saurav Jha, Hiromi Wakaki, Yuki Mitsufuji, Horst Possegger, Rogerio Feris, Leonid Karlinsky, James Glass

cs.AI

Zusammenfassung

In dieser Arbeit schlagen wir eine neuartige Methode (GLOV) vor, die es Large Language Models (LLMs) ermöglicht, als implizite Optimierer für Vision-Language Models (VLMs) zu fungieren, um nachgelagerte Visionstasks zu verbessern. Unser GLOV meta-promptet ein LLM mit der Beschreibung der nachgelagerten Aufgabe und fragt es nach geeigneten VLM-Prompts (z. B. für Zero-Shot-Klassifikation mit CLIP). Diese Prompts werden gemäß eines Reinheitsmaßes, das durch eine Fitnessfunktion erhalten wird, eingestuft. In jedem entsprechenden Optimierungsschritt werden die eingestuften Prompts als In-Context-Beispiele (mit ihren Genauigkeiten) zugeführt, um das LLM mit dem Wissen über den Typ von Textprompts auszustatten, die vom nachgelagerten VLM bevorzugt werden. Darüber hinaus lenken wir auch explizit den Generierungsprozess des LLM in jedem Optimierungsschritt, indem wir speziell einen Offset-Differenzvektor der Einbettungen der positiven und negativen Lösungen, die vom LLM in vorherigen Optimierungsschritten gefunden wurden, der Zwischenschicht des Netzwerks für den nächsten Generierungsschritt hinzufügen. Dieser Offset-Vektor lenkt die Generierung des LLM in Richtung der vom nachgelagerten VLM bevorzugten Sprache und führt zu einer verbesserten Leistung bei den nachgelagerten Visionstasks. Wir evaluieren unser GLOV umfassend an 16 verschiedenen Datensätzen unter Verwendung von zwei Familien von VLMs, nämlich Dual-Encoder-Modellen (z. B. CLIP) und Encoder-Decoder-Modellen (z. B. LLaVa) - und zeigen, dass die entdeckten Lösungen die Erkennungsleistung um bis zu 15,0 % bzw. 57,5 % (im Durchschnitt um 3,8 % bzw. 21,6 %) für diese Modelle verbessern können.

English

In this work, we propose a novel method (GLOV) enabling Large Language Models (LLMs) to act as implicit Optimizers for Vision-Langugage Models (VLMs) to enhance downstream vision tasks. Our GLOV meta-prompts an LLM with the downstream task description, querying it for suitable VLM prompts (e.g., for zero-shot classification with CLIP). These prompts are ranked according to a purity measure obtained through a fitness function. In each respective optimization step, the ranked prompts are fed as in-context examples (with their accuracies) to equip the LLM with the knowledge of the type of text prompts preferred by the downstream VLM. Furthermore, we also explicitly steer the LLM generation process in each optimization step by specifically adding an offset difference vector of the embeddings from the positive and negative solutions found by the LLM, in previous optimization steps, to the intermediate layer of the network for the next generation step. This offset vector steers the LLM generation toward the type of language preferred by the downstream VLM, resulting in enhanced performance on the downstream vision tasks. We comprehensively evaluate our GLOV on 16 diverse datasets using two families of VLMs, i.e., dual-encoder (e.g., CLIP) and encoder-decoder (e.g., LLaVa) models -- showing that the discovered solutions can enhance the recognition performance by up to 15.0% and 57.5% (3.8% and 21.6% on average) for these models.