Ritorno dell'Encoder: Massimizzazione dell'Efficienza dei Parametri per SLM

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

Autori: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

Abstract

Il predominio dei grandi modelli linguistici con solamente decoder ha oscurato le architetture encoder-decoder, nonostante i loro fondamentali vantaggi di efficienza nel processamento di sequenze. Per i piccoli modelli linguistici (SLM) - quelli con 1 miliardo di parametri o meno - la nostra analisi sistematica su piattaforme GPU, CPU e NPU rivela che le architetture encoder-decoder raggiungono una latenza del primo token inferiore del 47% e un throughput 4,7 volte superiore rispetto ai modelli con solamente decoder su dispositivi edge. Questi miglioramenti possono essere attribuiti al processamento iniziale dell'input e alla efficiente separazione delle fasi di comprensione e generazione dei modelli encoder-decoder. Introduciamo un nuovo framework di distillazione della conoscenza che consente ai modelli encoder-decoder di sfruttare le capacità dei grandi modelli insegnanti scalabili con solamente decoder, preservando i loro vantaggi architetturali, ottenendo fino a 6 punti percentuali di miglioramento delle prestazioni medi su diverse attività, con significativi guadagni in attività asimmetriche di sequenze in cui le distribuzioni di input e output possono beneficiare di approcci di elaborazione diversi. Quando combinati con avanzamenti moderni come gli Embedding Posizionali Rotativi (RoPE) e gli encoder di Visione, la nostra indagine sistematica dimostra che le architetture encoder-decoder offrono un percorso più pratico per implementare modelli linguistici capaci in ambienti con risorse limitate. Le nostre scoperte sfidano la tendenza predominante verso la scalabilità con solamente decoder, mostrando che le scelte architetturali diventano sempre più cruciali man mano che i budget dei parametri diminuiscono, in particolare per implementazioni su dispositivi e edge dove l'efficienza computazionale è fondamentale.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.