Смесь вложенных экспертов: Адаптивная обработка визуальных токенов

Mixture of Nested Experts: Adaptive Processing of Visual Tokens

July 29, 2024

Авторы: Gagan Jain, Nidhi Hegde, Aditya Kusupati, Arsha Nagrani, Shyamal Buch, Prateek Jain, Anurag Arnab, Sujoy Paul

cs.AI

Аннотация

Визуальное средство (изображения и видео) естественным образом содержит большое количество избыточной информации, что предоставляет отличную возможность для повышения эффективности обработки. В то время как модели на основе трансформера видения (ViT) эффективно масштабируются до больших объемов данных, они не используют эту врожденную избыточность, что приводит к более высоким вычислительным затратам. Сети Mixture of Experts (MoE) демонстрируют масштабируемость, сохраняя при этом одинаковые затраты времени вывода, но они имеют более крупный объем параметров. Мы представляем Mixture of Nested Experts (MoNE), который использует вложенную структуру для экспертов, где отдельные эксперты располагаются на возрастающей кривой вычисления-точности. Учитывая вычислительный бюджет, MoNE учится динамически выбирать токены в порядке приоритета, и таким образом избыточные токены обрабатываются через более дешевых вложенных экспертов. Используя эту структуру, мы достигаем эквивалентной производительности по сравнению с базовыми моделями, снижая вычислительные затраты времени вывода более чем в два раза. Мы проверяем наш подход на стандартных наборах данных изображений и видео - ImageNet-21K, Kinetics400 и Something-Something-v2. Мы также подчеркиваем адаптивность MoNE, демонстрируя его способность поддерживать высокую производительность при различных бюджетах вычислений времени вывода на видео, используя только одну обученную модель.

English

The visual medium (images and videos) naturally contains a large amount of information redundancy, thereby providing a great opportunity for leveraging efficiency in processing. While Vision Transformer (ViT) based models scale effectively to large data regimes, they fail to capitalize on this inherent redundancy, leading to higher computational costs. Mixture of Experts (MoE) networks demonstrate scalability while maintaining same inference-time costs, but they come with a larger parameter footprint. We present Mixture of Nested Experts (MoNE), which utilizes a nested structure for experts, wherein individual experts fall on an increasing compute-accuracy curve. Given a compute budget, MoNE learns to dynamically choose tokens in a priority order, and thus redundant tokens are processed through cheaper nested experts. Using this framework, we achieve equivalent performance as the baseline models, while reducing inference time compute by over two-fold. We validate our approach on standard image and video datasets - ImageNet-21K, Kinetics400, and Something-Something-v2. We further highlight MoNE's adaptability by showcasing its ability to maintain strong performance across different inference-time compute budgets on videos, using only a single trained model.