Возвращение кодировщика: Максимизация эффективности параметров для SLM.

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

Авторы: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

Аннотация

Доминирование крупных моделей языков только с декодером затмевает архитектуры кодировщик-декодер, несмотря на их фундаментальные преимущества эффективности в обработке последовательностей. Для небольших моделей языков (SLM) - тех, у которых 1 миллиард параметров или меньше - наша систематическая аналитика на платформах GPU, CPU и NPU показывает, что архитектуры кодировщик-декодер достигают на 47% более низкую задержку первого токена и в 4,7 раза большую пропускную способность по сравнению с моделями только с декодером на краевых устройствах. Эти преимущества могут быть объяснены одноразовой обработкой ввода кодировщиком-декодером и эффективным разделением фаз понимания и генерации. Мы представляем новую рамку дистилляции знаний, которая позволяет моделям кодировщик-декодер использовать возможности от крупных масштабируемых моделей только с декодером, сохраняя при этом свои архитектурные преимущества, достигая до 6 средних пунктов улучшения производительности по различным задачам, с значительными приростами в асимметричных последовательностных задачах, где входные и выходные распределения могут получить выгоду от различных подходов обработки. При объединении с современными достижениями, такими как вращающиеся позиционные вложения (RoPE) и кодировщики видео, наше систематическое исследование демонстрирует, что архитектуры кодировщик-декодер предоставляют более практичный путь к развертыванию способных моделей языков в ресурсоемких средах. Наши результаты вызывают сомнения в преобладающем тренде масштабирования только с декодером, показывая, что архитектурные выборы становятся все более важными по мере уменьшения бюджетов параметров, особенно для развертывания на устройствах и краевых устройствах, где вычислительная эффективность имеет первостепенное значение.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.