Comprendere i Transformer per Video attraverso la Scoperta di Concetti Universali
Understanding Video Transformers via Universal Concept Discovery
January 19, 2024
Autori: Matthew Kowal, Achal Dave, Rares Ambrus, Adrien Gaidon, Konstantinos G. Derpanis, Pavel Tokmakov
cs.AI
Abstract
Questo articolo studia il problema dell'interpretabilità basata su concetti delle rappresentazioni dei transformer per i video. Nello specifico, cerchiamo di spiegare il processo decisionale dei transformer per video basandoci su concetti spaziotemporali di alto livello che vengono scoperti automaticamente. La ricerca precedente sull'interpretabilità basata su concetti si è concentrata esclusivamente su compiti a livello di immagine. Al contrario, i modelli video devono gestire la dimensione temporale aggiuntiva, aumentando la complessità e ponendo sfide nell'identificazione di concetti dinamici nel tempo. In questo lavoro, affrontiamo sistematicamente queste sfide introducendo il primo algoritmo di Video Transformer Concept Discovery (VTCD). A tal fine, proponiamo un approccio efficiente per l'identificazione non supervisionata di unità delle rappresentazioni dei transformer per video - i concetti - e per la classificazione della loro importanza rispetto all'output di un modello. I concetti risultanti sono altamente interpretabili, rivelando meccanismi di ragionamento spaziotemporale e rappresentazioni centrate sugli oggetti nei modelli video non strutturati. Eseguendo questa analisi congiuntamente su un insieme diversificato di rappresentazioni supervisionate e auto-supervisionate, scopriamo che alcuni di questi meccanismi sono universali nei transformer per video. Infine, dimostriamo che VTCD può essere utilizzato per migliorare le prestazioni del modello in compiti di classificazione fine.
English
This paper studies the problem of concept-based interpretability of
transformer representations for videos. Concretely, we seek to explain the
decision-making process of video transformers based on high-level,
spatiotemporal concepts that are automatically discovered. Prior research on
concept-based interpretability has concentrated solely on image-level tasks.
Comparatively, video models deal with the added temporal dimension, increasing
complexity and posing challenges in identifying dynamic concepts over time. In
this work, we systematically address these challenges by introducing the first
Video Transformer Concept Discovery (VTCD) algorithm. To this end, we propose
an efficient approach for unsupervised identification of units of video
transformer representations - concepts, and ranking their importance to the
output of a model. The resulting concepts are highly interpretable, revealing
spatio-temporal reasoning mechanisms and object-centric representations in
unstructured video models. Performing this analysis jointly over a diverse set
of supervised and self-supervised representations, we discover that some of
these mechanism are universal in video transformers. Finally, we demonstrate
that VTCDcan be used to improve model performance for fine-grained tasks.