Mistura de Especialistas Aninhados: Processamento Adaptativo de Tokens Visuais

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Autores: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Resumo

O meio visual (imagens e vídeos) naturalmente contém uma grande quantidade de redundância de informação, proporcionando assim uma ótima oportunidade para aumentar a eficiência no processamento. Enquanto os modelos baseados em Transformadores de Visão (ViT) se adaptam eficazmente a regimes de grandes volumes de dados, eles não conseguem aproveitar essa redundância inerente, resultando em custos computacionais mais elevados. As redes Mixture of Experts (MoE) demonstram escalabilidade mantendo os mesmos custos de inferência, porém possuem uma pegada de parâmetros maior. Apresentamos a Mixture of Nested Experts (MoNE), que utiliza uma estrutura aninhada para especialistas, onde especialistas individuais se encaixam em uma curva crescente de computação-precisão. Dado um orçamento computacional, o MoNE aprende a escolher dinamicamente tokens em uma ordem de prioridade, processando assim tokens redundantes por meio de especialistas aninhados mais baratos. Utilizando esse framework, alcançamos um desempenho equivalente aos modelos de referência, reduzindo o tempo de computação de inferência em mais de duas vezes. Validamos nossa abordagem em conjuntos de dados padrão de imagens e vídeos - ImageNet-21K, Kinetics400 e Something-Something-v2. Destacamos ainda a adaptabilidade do MoNE ao demonstrar sua capacidade de manter um forte desempenho em diferentes orçamentos de computação de inferência em vídeos, usando apenas um modelo treinado.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.