Retorno do Codificador: Maximizando a Eficiência de Parâmetros para Modelos de Linguagem Estruturada.

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

Autores: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

Resumo

A predominância de grandes modelos de linguagem apenas decodificadores tem ofuscado as arquiteturas codificador-decodificador, apesar de suas vantagens fundamentais de eficiência no processamento de sequências. Para modelos de linguagem pequenos (SLMs) - aqueles com 1 bilhão de parâmetros ou menos - nossa análise sistemática em plataformas GPU, CPU e NPU revela que as arquiteturas codificador-decodificador alcançam 47% a menos de latência do primeiro token e 4,7 vezes maior throughput em comparação com modelos apenas decodificadores em dispositivos de borda. Esses ganhos podem ser atribuídos ao processamento de entrada único do codificador-decodificador e à separação eficiente das fases de compreensão e geração. Introduzimos um novo framework de destilação de conhecimento que permite aos modelos codificador-decodificador aproveitar as capacidades de grandes professores escaláveis apenas decodificadores, preservando suas vantagens arquiteturais, alcançando até 6 pontos de desempenho médio aprimorados em diversas tarefas, com ganhos significativos em tarefas de sequência assimétricas onde as distribuições de entrada e saída podem se beneficiar de abordagens de processamento diferentes. Quando combinadas com avanços modernos como Incorporações Posicionais Rotativas (RoPE) e codificadores de Visão, nossa investigação sistemática demonstra que as arquiteturas codificador-decodificador oferecem um caminho mais prático para implantar modelos de linguagem capazes em ambientes com recursos limitados. Nossas descobertas desafiam a tendência predominante em direção à escalabilidade apenas do decodificador, mostrando que as escolhas arquiteturais se tornam cada vez mais cruciais à medida que os orçamentos de parâmetros diminuem, especialmente para implantações em dispositivos e borda, onde a eficiência computacional é fundamental.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.