Training van Ruis Token Pruning
Training Noise Token Pruning
November 27, 2024
Auteurs: Mingxing Rao, Bohan Jiang, Daniel Moyer
cs.AI
Samenvatting
In het huidige werk presenteren we Training Noise Token (TNT) Pruning voor vision transformers. Onze methode versoepelt de voorwaarde van het laten vallen van discrete tokens naar continue additieve ruis, wat zorgt voor soepele optimalisatie tijdens training, terwijl discrete verlaging van berekeningen behouden blijft in implementatie-instellingen. We leggen theoretische verbanden met de Rate-Distortion literatuur en voeren empirische evaluaties uit op de ImageNet dataset met behulp van ViT en DeiT architecturen, waarbij we de voordelen van TNT ten opzichte van eerdere snoeimethoden aantonen.
English
In the present work we present Training Noise Token (TNT) Pruning for vision
transformers. Our method relaxes the discrete token dropping condition to
continuous additive noise, providing smooth optimization in training, while
retaining discrete dropping computational gains in deployment settings. We
provide theoretical connections to Rate-Distortion literature, and empirical
evaluations on the ImageNet dataset using ViT and DeiT architectures
demonstrating TNT's advantages over previous pruning methods.