Transformer層を画家として

Transformer Layers as Painters

July 12, 2024

著者: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

要旨

大規模言語モデルにおいてほぼ普遍的に採用されているにもかかわらず、トランスフォーマーの内部動作は十分に理解されていません。本研究では、事前学習済みトランスフォーマーの各層における情報の削除や再編成が及ぼす影響をより深く理解することを目指しています。このような理解は、既存モデルのより良い活用につながるだけでなく、新しいバリエーションを生み出すためのアーキテクチャの改善にも寄与する可能性があります。我々は、凍結されたモデルに関する一連の実証研究を提示し、事前学習済みトランスフォーマーの下位層と最終層が中間層とは異なる一方で、中間層には驚くほどの均一性があることを示します。さらに、特定の問題クラスにおいては、層をスキップしたり、学習時とは異なる順序で層を実行したり、層を並列に実行したりすることに対してロバスト性があることを示します。これらの観察結果は、凍結された事前学習済みモデルであっても、層をスキップしたり並列に実行したりすることで、精度とレイテンシを柔軟にトレードオフできる可能性を示唆しています。

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.