Miscela di Esperti Annidati: Elaborazione Adattativa di Token Visivi

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Autori: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Abstract

Il mezzo visivo (immagini e video) contiene naturalmente una grande quantità di ridondanza informativa, offrendo così un'ottima opportunità per sfruttare l'efficienza nell'elaborazione. Mentre i modelli basati su Vision Transformer (ViT) si adattano efficacemente a regimi di dati di grandi dimensioni, non riescono a capitalizzare su questa ridondanza intrinseca, portando a costi computazionali più elevati. Le reti Mixture of Experts (MoE) dimostrano scalabilità mantenendo gli stessi costi al momento dell'inferenza, ma comportano un'impronta parametrica più ampia. Presentiamo Mixture of Nested Experts (MoNE), che utilizza una struttura annidata per gli esperti, in cui i singoli esperti si collocano su una curva crescente di accuratezza-calcolo. Dato un budget di calcolo, MoNE impara a scegliere dinamicamente i token in ordine di priorità, e quindi i token ridondanti vengono elaborati attraverso esperti annidati più economici. Utilizzando questo framework, otteniamo prestazioni equivalenti ai modelli di riferimento, riducendo il tempo di calcolo durante l'inferenza di oltre il doppio. Validiamo il nostro approccio su dataset standard di immagini e video - ImageNet-21K, Kinetics400 e Something-Something-v2. Inoltre, evidenziamo l'adattabilità di MoNE dimostrando la sua capacità di mantenere prestazioni solide su diversi budget di calcolo al momento dell'inferenza sui video, utilizzando un unico modello addestrato.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.