Mischung von verschachtelten Experten: Adaptive Verarbeitung von visuellen Token

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Autoren: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Zusammenfassung

Das visuelle Medium (Bilder und Videos) enthält natürlicherweise eine große Menge an Informationsredundanz, was eine hervorragende Möglichkeit zur Steigerung der Effizienz bei der Verarbeitung bietet. Während Modelle auf Basis des Vision Transformers (ViT) effektiv auf große Datenregime skalieren, nutzen sie diese inhärente Redundanz nicht aus, was zu höheren Rechenkosten führt. Mixture of Experts (MoE)-Netzwerke zeigen Skalierbarkeit bei gleichbleibenden Inferenzzeitkosten, bringen jedoch einen größeren Parameter-Fußabdruck mit sich. Wir präsentieren Mixture of Nested Experts (MoNE), das eine verschachtelte Struktur für Experten nutzt, bei der einzelne Experten auf einer steigenden Berechnungs-Genauigkeits-Kurve liegen. Unter Berücksichtigung eines Berechnungsbudgets lernt MoNE, Token dynamisch in einer Prioritätsreihenfolge auszuwählen, wodurch redundante Tokens durch kostengünstigere verschachtelte Experten verarbeitet werden. Unter Verwendung dieses Rahmens erzielen wir eine äquivalente Leistung wie bei den Basismodellen, während wir die Rechenzeit um mehr als das Zweifache reduzieren. Wir validieren unseren Ansatz anhand von Standardbild- und Videodatensätzen - ImageNet-21K, Kinetics400 und Something-Something-v2. Darüber hinaus heben wir die Anpassungsfähigkeit von MoNE hervor, indem wir seine Fähigkeit zeigen, starke Leistung bei verschiedenen Inferenzzeit-Berechnungsbudgets für Videos aufrechtzuerhalten, unter Verwendung eines einzigen trainierten Modells.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.