Um Agente Automatizado de Interpretabilidade Multimodal

A Multimodal Automated Interpretability Agent

April 22, 2024

Autores: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

cs.AI

Resumo

Este artigo descreve o MAIA, um Agente de Interpretabilidade Automatizada Multimodal. O MAIA é um sistema que utiliza modelos neurais para automatizar tarefas de compreensão de modelos neurais, como interpretação de características e descoberta de modos de falha. Ele equipa um modelo de visão e linguagem pré-treinado com um conjunto de ferramentas que suportam experimentação iterativa em subcomponentes de outros modelos para explicar seu comportamento. Essas incluem ferramentas comumente usadas por pesquisadores de interpretabilidade humana: para sintetizar e editar entradas, calcular exemplares de máxima ativação a partir de conjuntos de dados do mundo real, e resumir e descrever resultados experimentais. Experimentos de interpretabilidade propostos pelo MAIA combinam essas ferramentas para descrever e explicar o comportamento do sistema. Avaliamos aplicações do MAIA em modelos de visão computacional. Primeiro, caracterizamos a capacidade do MAIA de descrever características (em nível de neurônio) em representações aprendidas de imagens. Em vários modelos treinados e um novo conjunto de dados de neurônios visuais sintéticos com descrições de verdade fundamental pareadas, o MAIA produz descrições comparáveis às geradas por experimentadores humanos especialistas. Em seguida, mostramos que o MAIA pode auxiliar em duas tarefas adicionais de interpretabilidade: reduzir a sensibilidade a características espúrias e identificar automaticamente entradas com maior probabilidade de serem mal classificadas.

English

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.