Mengsel van Geneste Experts: Adaptieve Verwerking van Visuele Tokens

Samenvatting

Het visuele medium (afbeeldingen en video's) bevat van nature een grote hoeveelheid informatie-redundantie, wat een uitstekende mogelijkheid biedt om efficiëntie in de verwerking te benutten. Hoewel Vision Transformer (ViT)-modellen effectief schalen naar grote datasets, maken ze geen gebruik van deze inherente redundantie, wat leidt tot hogere rekenkosten. Mixture of Experts (MoE)-netwerken tonen schaalbaarheid terwijl ze dezelfde inferentiekosten behouden, maar ze hebben een groter parameterbestand. Wij presenteren Mixture of Nested Experts (MoNE), dat een geneste structuur voor experts gebruikt, waarbij individuele experts op een toenemende rekenkosten-nauwkeurigheidscurve vallen. Gegeven een rekenbudget, leert MoNE dynamisch tokens in een prioriteitsvolgorde te kiezen, waardoor redundante tokens worden verwerkt door goedkopere geneste experts. Met dit framework bereiken we een vergelijkbare prestaties als de baseline-modellen, terwijl we de inferentietijd-rekenkosten met meer dan tweevoudig verminderen. We valideren onze aanpak op standaard afbeeldingen- en video-datasets - ImageNet-21K, Kinetics400 en Something-Something-v2. We benadrukken verder de aanpasbaarheid van MoNE door aan te tonen dat het sterke prestaties kan behouden over verschillende inferentietijd-rekenbudgetten voor video's, met slechts één getraind model.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.

Mengsel van Geneste Experts: Adaptieve Verwerking van Visuele Tokens

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

Samenvatting

Support