Retorno del Codificador: Maximizando la Eficiencia de Parámetros para Modelos de Lenguaje Secuenciales.

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

Autores: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

Resumen

El dominio de los grandes modelos de lenguaje de solo decodificador ha eclipsado a las arquitecturas codificador-decodificador, a pesar de sus ventajas fundamentales de eficiencia en el procesamiento de secuencias. Para los modelos de lenguaje pequeños (SLMs) - aquellos con 1 mil millones de parámetros o menos - nuestro análisis sistemático en plataformas GPU, CPU y NPU revela que las arquitecturas codificador-decodificador logran una latencia de primer token un 47% menor y una mayor capacidad de procesamiento de 4.7 veces en comparación con los modelos de solo decodificador en dispositivos periféricos. Estas mejoras pueden atribuirse al procesamiento de entrada único y a la eficiente separación de las fases de comprensión y generación del codificador-decodificador. Introducimos un novedoso marco de destilación de conocimiento que permite a los modelos codificador-decodificador aprovechar las capacidades de grandes modelos de solo decodificador escalables, al tiempo que preservan sus ventajas arquitectónicas, logrando hasta 6 puntos de mejora en el rendimiento promedio en diversas tareas, con ganancias significativas en tareas asimétricas de secuencias donde las distribuciones de entrada y salida pueden beneficiarse de enfoques de procesamiento diferentes. Cuando se combina con avances modernos como los Embebdings Rotativos de Posición (RoPE) y codificadores de Visión, nuestra investigación sistemática demuestra que las arquitecturas codificador-decodificador ofrecen un camino más práctico para implementar modelos de lenguaje capaces en entornos con recursos limitados. Nuestros hallazgos desafían la tendencia predominante hacia la escalabilidad de solo decodificador, mostrando que las elecciones arquitectónicas se vuelven cada vez más cruciales a medida que los presupuestos de parámetros disminuyen, especialmente para implementaciones en dispositivos y periféricos donde la eficiencia computacional es primordial.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.