Mélange d'Experts Emboîtés : Traitement Adaptatif des Tokens Visuels

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Auteurs: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Résumé

Le support visuel (images et vidéos) contient naturellement une grande quantité de redondance d'information, offrant ainsi une excellente opportunité pour optimiser l'efficacité du traitement. Bien que les modèles basés sur les Vision Transformers (ViT) s'adaptent efficacement à des régimes de données volumineux, ils ne parviennent pas à exploiter cette redondance inhérente, ce qui entraîne des coûts de calcul plus élevés. Les réseaux Mixture of Experts (MoE) démontrent une bonne scalabilité tout en maintenant des coûts d'inférence constants, mais ils nécessitent un nombre de paramètres plus important. Nous présentons Mixture of Nested Experts (MoNE), qui utilise une structure imbriquée pour les experts, où chaque expert se situe sur une courbe croissante de précision en fonction du calcul. Pour un budget de calcul donné, MoNE apprend à sélectionner dynamiquement les tokens par ordre de priorité, permettant ainsi aux tokens redondants d'être traités par des experts imbriqués moins coûteux. Grâce à ce cadre, nous obtenons des performances équivalentes aux modèles de référence, tout en réduisant le temps de calcul d'inférence de plus de moitié. Nous validons notre approche sur des ensembles de données standards pour les images et les vidéos - ImageNet-21K, Kinetics400 et Something-Something-v2. Nous mettons également en avant l'adaptabilité de MoNE en démontrant sa capacité à maintenir de solides performances pour différents budgets de calcul d'inférence sur les vidéos, en utilisant un seul modèle entraîné.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.