ノイズトークンの剪定訓練

Training Noise Token Pruning

November 27, 2024

著者: Mingxing Rao, Bohan Jiang, Daniel Moyer

cs.AI

要旨

本研究では、ビジョントランスフォーマー向けのトレーニングノイズトークン（TNT）プルーニングを提案します。当該手法は、トレーニング中の滑らかな最適化を提供するために、離散的なトークンのドロップ条件を連続的な加法ノイズに緩和し、一方で展開環境において離散的なドロップによる計算上の利点を保持します。我々は、レート・ディストーションの文献との理論的な関連性を提供し、ViTおよびDeiTアーキテクチャを用いたImageNetデータセットにおける実証評価を行い、TNTの従来のプルーニング手法に対する利点を示します。

English

In the present work we present Training Noise Token (TNT) Pruning for vision transformers. Our method relaxes the discrete token dropping condition to continuous additive noise, providing smooth optimization in training, while retaining discrete dropping computational gains in deployment settings. We provide theoretical connections to Rate-Distortion literature, and empirical evaluations on the ImageNet dataset using ViT and DeiT architectures demonstrating TNT's advantages over previous pruning methods.