LVLM-Intrepret: Uno Strumento di Interpretabilità per Modelli Linguistico-Visuali di Grande Scala
LVLM-Intrepret: An Interpretability Tool for Large Vision-Language Models
April 3, 2024
Autori: Gabriela Ben Melech Stan, Raanan Yehezkel Rohekar, Yaniv Gurwicz, Matthew Lyle Olson, Anahita Bhiwandiwalla, Estelle Aflalo, Chenfei Wu, Nan Duan, Shao-Yen Tseng, Vasudev Lal
cs.AI
Abstract
Nel panorama in rapida evoluzione dell'intelligenza artificiale, i modelli linguistici multi-modali di grandi dimensioni stanno emergendo come un'area di notevole interesse. Questi modelli, che combinano varie forme di input di dati, stanno diventando sempre più popolari. Tuttavia, comprendere i loro meccanismi interni rimane un compito complesso. Numerosi progressi sono stati fatti nel campo degli strumenti e dei meccanismi di spiegabilità, ma c'è ancora molto da esplorare. In questo lavoro, presentiamo una nuova applicazione interattiva finalizzata a comprendere i meccanismi interni dei modelli linguistico-visivi di grandi dimensioni. La nostra interfaccia è progettata per migliorare l'interpretabilità delle patch di immagini, che sono fondamentali per generare una risposta, e per valutare l'efficacia del modello linguistico nell'ancorare il proprio output all'immagine. Con la nostra applicazione, un utente può investigare sistematicamente il modello e scoprire i limiti del sistema, aprendo la strada a miglioramenti nelle capacità del sistema. Infine, presentiamo uno studio di caso su come la nostra applicazione può aiutare a comprendere i meccanismi di fallimento in un popolare modello multi-modale di grandi dimensioni: LLaVA.
English
In the rapidly evolving landscape of artificial intelligence, multi-modal
large language models are emerging as a significant area of interest. These
models, which combine various forms of data input, are becoming increasingly
popular. However, understanding their internal mechanisms remains a complex
task. Numerous advancements have been made in the field of explainability tools
and mechanisms, yet there is still much to explore. In this work, we present a
novel interactive application aimed towards understanding the internal
mechanisms of large vision-language models. Our interface is designed to
enhance the interpretability of the image patches, which are instrumental in
generating an answer, and assess the efficacy of the language model in
grounding its output in the image. With our application, a user can
systematically investigate the model and uncover system limitations, paving the
way for enhancements in system capabilities. Finally, we present a case study
of how our application can aid in understanding failure mechanisms in a popular
large multi-modal model: LLaVA.