エンコーダーの復帰：SLMのパラメータ効率を最大化する

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

著者: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

要旨

大規模なデコーダーのみの言語モデルの優越性が、シーケンス処理における基本的な効率の利点にもかかわらず、エンコーダー・デコーダー構造を薄暗くしています。10億個以下のパラメータを持つ小規模言語モデル（SLMs）について、GPU、CPU、およびNPUプラットフォームを横断した体系的な分析では、エンコーダー・デコーダー構造は、エッジデバイス上でデコーダーのみのモデルと比較して、初トークンの待ち時間が47％低く、スループットが4.7倍高いことが明らかになりました。これらの利点は、エンコーダー・デコーダーの一度の入力処理と理解と生成段階の効率的な分離に帰因される可能性があります。 大規模でスケーラブルなデコーダーのみの教師からの能力を活用しつつ、エンコーダー・デコーダーモデルがその構造上の利点を保持することを可能にする新しい知識蒸留フレームワークを紹介します。これにより、さまざまなタスクで平均パフォーマンスポイントが最大6ポイント向上し、入力と出力の分布が異なる処理アプローチから利益を得られる非対称なシーケンスタスクにおいて大きな利点が得られます。 RoPE（Rotary Positional Embeddings）やビジョンエンコーダーなどの最新技術と組み合わせると、エンコーダー・デコーダー構造が、リソースに制約のある環境で能力のある言語モデルを展開するためのより実用的な道筋を提供することが、私たちの体系的な調査で示されています。私たちの調査結果は、デコーダーのみのスケーリングに対する優勢なトレンドに疑問を投げかけ、パラメータ予算が低下するにつれて、特にコンピューターの効率が最重要視されるオンデバイスおよびエッジ展開において、アーキテクチャの選択がますます重要になることを示しています。

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.