GLOV: 시각을 위한 암시적 최적화자로서의 안내형 대형 언어 모델

GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

October 8, 2024

저자: M. Jehanzeb Mirza, Mengjie Zhao, Zhuoyuan Mao, Sivan Doveh, Wei Lin, Paul Gavrikov, Michael Dorkenwald, Shiqi Yang, Saurav Jha, Hiromi Wakaki, Yuki Mitsufuji, Horst Possegger, Rogerio Feris, Leonid Karlinsky, James Glass

cs.AI

초록

본 연구에서는 대규모 언어 모델(Large Language Models, LLMs)이 시각-언어 모델(Vision-Language Models, VLMs)을 위한 암묵적 최적화자로 작용하도록 하는 혁신적인 방법(GLOV)을 제안합니다. 우리의 GLOV는 LLM에 하류 작업 설명을 메타 프롬프트로 제공하여 해당 VLM 프롬프트(예: CLIP를 사용한 제로샷 분류)를 적절히 쿼리합니다. 이러한 프롬프트는 순수도 측정을 통해 순위가 매겨지며, 이는 적합성 함수를 통해 얻어집니다. 각각의 최적화 단계에서 순위가 매겨진 프롬프트는 LLM에 적합한 텍스트 프롬프트 유형의 지식을 제공하기 위해 콘텍스트 예시(정확도와 함께)로 제공됩니다. 더 나아가, 우리는 또한 각 최적화 단계에서 LLM 생성 과정을 명시적으로 조절하며, 이를 위해 LLM에 의해 이전 최적화 단계에서 찾은 양성 및 음성 솔루션의 임베딩의 차이 벡터를 다음 세대 단계를 위한 네트워크의 중간 계층에 특별히 추가합니다. 이 차이 벡터는 LLM 생성을 하류 VLM이 선호하는 언어 유형으로 이끌어, 하류 시각 작업의 성능을 향상시킵니다. 우리는 이러한 모델들에 대해 최대 15.0% 및 57.5% (평균 3.8% 및 21.6%)의 인식 성능을 향상시킬 수 있는 해결책을 발견할 수 있음을 보여주기 위해 두 가지 VLM 패밀리인 듀얼-인코더(예: CLIP) 및 인코더-디코더(예: LLaVa) 모델을 사용하여 16가지 다양한 데이터셋에서 우리의 GLOV를 철저하게 평가합니다.

English

In this work, we propose a novel method (GLOV) enabling Large Language Models (LLMs) to act as implicit Optimizers for Vision-Langugage Models (VLMs) to enhance downstream vision tasks. Our GLOV meta-prompts an LLM with the downstream task description, querying it for suitable VLM prompts (e.g., for zero-shot classification with CLIP). These prompts are ranked according to a purity measure obtained through a fitness function. In each respective optimization step, the ranked prompts are fed as in-context examples (with their accuracies) to equip the LLM with the knowledge of the type of text prompts preferred by the downstream VLM. Furthermore, we also explicitly steer the LLM generation process in each optimization step by specifically adding an offset difference vector of the embeddings from the positive and negative solutions found by the LLM, in previous optimization steps, to the intermediate layer of the network for the next generation step. This offset vector steers the LLM generation toward the type of language preferred by the downstream VLM, resulting in enhanced performance on the downstream vision tasks. We comprehensively evaluate our GLOV on 16 diverse datasets using two families of VLMs, i.e., dual-encoder (e.g., CLIP) and encoder-decoder (e.g., LLaVa) models -- showing that the discovered solutions can enhance the recognition performance by up to 15.0% and 57.5% (3.8% and 21.6% on average) for these models.