Мультимодальный автоматизированный агент интерпретируемости

A Multimodal Automated Interpretability Agent

April 22, 2024

Авторы: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

cs.AI

Аннотация

В данной статье описывается MAIA, мультимодальный автоматизированный агент интерпретируемости. MAIA - это система, которая использует нейронные модели для автоматизации задач понимания нейронных моделей, таких как интерпретация признаков и обнаружение режимов отказа. Она оснащает предварительно обученную модель видео-языка набором инструментов, которые поддерживают итеративные эксперименты по подкомпонентам других моделей для объяснения их поведения. Среди этих инструментов находятся инструменты, обычно используемые исследователями интерпретируемости: для синтеза и редактирования входных данных, вычисления максимально активирующих образцов из реальных наборов данных и подведения и описания экспериментальных результатов. Эксперименты по интерпретируемости, предложенные MAIA, объединяют эти инструменты для описания и объяснения поведения системы. Мы оцениваем применение MAIA к моделям компьютерного зрения. Сначала мы характеризуем способность MAIA описывать (на уровне нейронов) признаки в изученных представлениях изображений. На нескольких обученных моделях и новом наборе данных синтетических нейронов зрения с сопоставленными описаниями истинных значений, MAIA производит описания, сравнимые с теми, которые генерируются опытными человеческими испытателями. Затем мы показываем, что MAIA может помочь в двух дополнительных задачах интерпретируемости: уменьшении чувствительности к ложным признакам и автоматическом определении входных данных, склонных к ошибочной классификации.

English

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.