Een Multimodale Geautomatiseerde Interpreteerbaarheidsagent

A Multimodal Automated Interpretability Agent

April 22, 2024

Auteurs: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

cs.AI

Samenvatting

Dit artikel beschrijft MAIA, een Multimodale Geautomatiseerde Interpretatieagent. MAIA is een systeem dat neurale modellen gebruikt om taken gericht op het begrijpen van neurale modellen te automatiseren, zoals feature-interpretatie en het ontdekken van faalmodi. Het rust een vooraf getraind visueel-taalmodel uit met een set tools die iteratief experimenteren op subcomponenten van andere modellen ondersteunen om hun gedrag te verklaren. Deze omvatten tools die vaak worden gebruikt door menselijke interpretatieonderzoekers: voor het synthetiseren en bewerken van invoer, het berekenen van maximaal activerende voorbeelden uit real-world datasets, en het samenvatten en beschrijven van experimentele resultaten. Interpretatie-experimenten voorgesteld door MAIA combineren deze tools om systeemgedrag te beschrijven en te verklaren. We evalueren toepassingen van MAIA op computervisiemodellen. We karakteriseren eerst MAIA's vermogen om (neuron-niveau) features in geleerde representaties van afbeeldingen te beschrijven. Over verschillende getrainde modellen en een nieuwe dataset van synthetische visieneuronen met gepaarde grondwaarheid-beschrijvingen, produceert MAIA beschrijvingen die vergelijkbaar zijn met die gegenereerd door ervaren menselijke experimentatoren. Vervolgens tonen we aan dat MAIA kan helpen bij twee aanvullende interpretatietaken: het verminderen van gevoeligheid voor spurious features, en het automatisch identificeren van invoer die waarschijnlijk verkeerd worden geclassificeerd.

English

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.