Mezcla de Expertos Anidados: Procesamiento Adaptativo de Tokens Visuales

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Autores: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Resumen

El medio visual (imágenes y videos) naturalmente contiene una gran cantidad de redundancia de información, lo que brinda una excelente oportunidad para mejorar la eficiencia en el procesamiento. Si bien los modelos basados en Transformadores de Visión (ViT) escalan eficazmente a regímenes de datos grandes, no logran aprovechar esta redundancia inherente, lo que resulta en costos computacionales más altos. Las redes de Mezcla de Expertos (MoE) demuestran escalabilidad manteniendo los mismos costos de inferencia, pero vienen con una huella de parámetros más grande. Presentamos la Mezcla de Expertos Anidados (MoNE), que utiliza una estructura anidada para expertos, donde los expertos individuales se sitúan en una curva creciente de computación precisión. Dado un presupuesto de computación, MoNE aprende a elegir dinámicamente tokens en un orden de prioridad, procesando así tokens redundantes a través de expertos anidados más económicos. Mediante este marco, logramos un rendimiento equivalente a los modelos de referencia, al tiempo que reducimos el tiempo de inferencia computacional en más del doble. Validamos nuestro enfoque en conjuntos de datos de imágenes y videos estándar - ImageNet-21K, Kinetics400 y Something-Something-v2. Además, destacamos la adaptabilidad de MoNE al demostrar su capacidad para mantener un rendimiento sólido en diferentes presupuestos de computación de tiempo de inferencia en videos, utilizando solo un modelo entrenado.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.