LVLM-Intrepret : Un outil d'interprétabilité pour les grands modèles vision-langage

LVLM-Intrepret: An Interpretability Tool for Large Vision-Language Models

April 3, 2024

Auteurs: Gabriela Ben Melech Stan, Raanan Yehezkel Rohekar, Yaniv Gurwicz, Matthew Lyle Olson, Anahita Bhiwandiwalla, Estelle Aflalo, Chenfei Wu, Nan Duan, Shao-Yen Tseng, Vasudev Lal

cs.AI

Résumé

Dans le paysage en évolution rapide de l'intelligence artificielle, les modèles de langage multi-modaux de grande échelle émergent comme un domaine d'intérêt majeur. Ces modèles, qui combinent diverses formes de données d'entrée, gagnent en popularité. Cependant, comprendre leurs mécanismes internes reste une tâche complexe. De nombreuses avancées ont été réalisées dans le domaine des outils et mécanismes d'explicabilité, mais il reste encore beaucoup à explorer. Dans ce travail, nous présentons une nouvelle application interactive visant à comprendre les mécanismes internes des grands modèles vision-langage. Notre interface est conçue pour améliorer l'interprétabilité des patches d'images, qui jouent un rôle crucial dans la génération d'une réponse, et pour évaluer l'efficacité du modèle de langage à ancrer sa sortie dans l'image. Avec notre application, un utilisateur peut investiguer systématiquement le modèle et découvrir les limites du système, ouvrant la voie à des améliorations des capacités du système. Enfin, nous présentons une étude de cas montrant comment notre application peut aider à comprendre les mécanismes d'échec dans un modèle multi-modal populaire : LLaVA.

English

In the rapidly evolving landscape of artificial intelligence, multi-modal large language models are emerging as a significant area of interest. These models, which combine various forms of data input, are becoming increasingly popular. However, understanding their internal mechanisms remains a complex task. Numerous advancements have been made in the field of explainability tools and mechanisms, yet there is still much to explore. In this work, we present a novel interactive application aimed towards understanding the internal mechanisms of large vision-language models. Our interface is designed to enhance the interpretability of the image patches, which are instrumental in generating an answer, and assess the efficacy of the language model in grounding its output in the image. With our application, a user can systematically investigate the model and uncover system limitations, paving the way for enhancements in system capabilities. Finally, we present a case study of how our application can aid in understanding failure mechanisms in a popular large multi-modal model: LLaVA.