Un Agente Automatizado de Interpretabilidad Multimodal

A Multimodal Automated Interpretability Agent

April 22, 2024

Autores: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

cs.AI

Resumen

Este artículo describe MAIA, un Agente Automatizado de Interpretabilidad Multimodal. MAIA es un sistema que utiliza modelos neuronales para automatizar tareas de comprensión de modelos neuronales, como la interpretación de características y el descubrimiento de modos de fallo. Equipa un modelo de visión-lenguaje preentrenado con un conjunto de herramientas que permiten la experimentación iterativa en subcomponentes de otros modelos para explicar su comportamiento. Estas incluyen herramientas comúnmente utilizadas por investigadores humanos de interpretabilidad: para sintetizar y editar entradas, calcular ejemplares de máxima activación a partir de conjuntos de datos del mundo real, y resumir y describir resultados experimentales. Los experimentos de interpretabilidad propuestos por MAIA combinan estas herramientas para describir y explicar el comportamiento del sistema. Evaluamos aplicaciones de MAIA en modelos de visión por computadora. Primero caracterizamos la capacidad de MAIA para describir características (a nivel de neurona) en representaciones aprendidas de imágenes. A través de varios modelos entrenados y un nuevo conjunto de datos de neuronas visuales sintéticas con descripciones de verdad fundamental emparejadas, MAIA produce descripciones comparables a las generadas por experimentadores humanos expertos. Luego demostramos que MAIA puede ayudar en dos tareas adicionales de interpretabilidad: reducir la sensibilidad a características espurias e identificar automáticamente entradas que probablemente serán mal clasificadas.

English

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.