Ein multimodaler automatisierter Interpretationsagent.

A Multimodal Automated Interpretability Agent

April 22, 2024

Autoren: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

cs.AI

Zusammenfassung

Dieses Papier beschreibt MAIA, einen Multimodalen Automatisierten Interpretationsagenten. MAIA ist ein System, das neuronale Modelle verwendet, um Aufgaben der automatisierten Interpretation neuronaler Modelle wie Merkmalsinterpretation und Entdeckung von Fehlermodi durchzuführen. Es stattet ein vortrainiertes Vision-Sprachmodell mit einer Reihe von Werkzeugen aus, die iterative Experimente an Subkomponenten anderer Modelle unterstützen, um deren Verhalten zu erklären. Dazu gehören Werkzeuge, die häufig von menschlichen Interpretierbarkeitsforschern verwendet werden: zum Synthetisieren und Bearbeiten von Eingaben, Berechnen von maximal aktivierenden Beispielen aus realen Datensätzen und Zusammenfassen sowie Beschreiben experimenteller Ergebnisse. Interpretierbarkeitsexperimente, die von MAIA vorgeschlagen werden, setzen diese Werkzeuge ein, um das Systemverhalten zu beschreiben und zu erklären. Wir bewerten die Anwendungen von MAIA für Computer-Vision-Modelle. Zunächst charakterisieren wir die Fähigkeit von MAIA, (neuronale Ebene) Merkmale in gelernten Repräsentationen von Bildern zu beschreiben. Über mehrere trainierte Modelle und einen neuartigen Datensatz von synthetischen Vision-Neuronen mit gepaarten Ground-Truth-Beschreibungen hinweg produziert MAIA Beschreibungen, die mit denen von Experten vergleichbar sind. Anschließend zeigen wir, dass MAIA bei zwei zusätzlichen Interpretierbarkeitsaufgaben helfen kann: die Empfindlichkeit gegenüber irreführenden Merkmalen zu verringern und Eingaben automatisch zu identifizieren, die wahrscheinlich falsch klassifiziert werden.

English

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.