Delfín: Contexto Largo como una Nueva Modalidad para Modelos de Lenguaje en Dispositivos Eficientes en Energía

Dolphin: Long Context as a New Modality for Energy-Efficient On-Device Language Models

August 28, 2024

Autores: Wei Chen, Zhiyuan Li, Shuo Xin, Yihao Wang

cs.AI

Resumen

Este documento presenta Dolphin, una arquitectura novedosa de decodificador-decodificador para el procesamiento energéticamente eficiente de contextos largos en modelos de lenguaje. Nuestro enfoque aborda los significativos desafíos de consumo de energía y latencia inherentes en modelos en dispositivos. Dolphin emplea un decodificador compacto de 0.5 mil millones de parámetros para destilar información contextual extensa en un incrustamiento de memoria, reduciendo sustancialmente la longitud de entrada para el modelo de decodificador primario de 7 mil millones de parámetros. Inspirados en modelos de visión-lenguaje, reutilizamos el proyector de incrustamiento de imagen para codificar contextos textuales largos, tratando efectivamente el contexto extendido como una modalidad distinta. Este método innovador permite procesar contextos considerablemente más largos sin la sobrecarga computacional típica asociada con secuencias de entrada extendidas. Las evaluaciones empíricas demuestran una mejora de 10 veces en la eficiencia energética y una reducción de 5 veces en la latencia en comparación con los métodos convencionales de procesamiento de contextos de longitud completa sin perder calidad en la respuesta. Nuestro trabajo contribuye al desarrollo de modelos de lenguaje más sostenibles y escalables para aplicaciones en dispositivos, abordando la necesidad crítica de tecnologías de IA energéticamente eficientes y receptivas en entornos con recursos limitados, manteniendo la precisión para comprender contextos largos. Esta investigación tiene implicaciones para el campo más amplio del procesamiento de lenguaje natural, particularmente en el dominio del diseño eficiente de modelos para entornos con recursos limitados. Al habilitar capacidades de IA más sofisticadas en dispositivos periféricos, Dolphin allana el camino para el procesamiento de lenguaje avanzado en una amplia gama de aplicaciones donde los recursos computacionales son escasos. El modelo Dolphin está disponible públicamente en https://huggingface.co/NexaAIDev/Dolphin.

English

This paper presents Dolphin, a novel decoder-decoder architecture for energy-efficient processing of long contexts in language models. Our approach addresses the significant energy consumption and latency challenges inherent in on-device models. Dolphin employs a compact 0.5B parameter decoder to distill extensive contextual information into a memory embedding, substantially reducing the input length for the primary 7B parameter decoder model. Inspired by vision-language models, we repurpose the image embedding projector to encode long textual contexts, effectively treating extended context as a distinct modality. This innovative method enables processing of substantially longer contexts without the typical computational overhead associated with extended input sequences. Empirical evaluations demonstrate a 10-fold improvement in energy efficiency and a 5-fold reduction in latency compared to conventional full-length context processing methods without losing quality of the response. Our work contributes to the development of more sustainable and scalable language models for on-device applications, addressing the critical need for energy-efficient and responsive AI technologies in resource-constrained environments while maintaining the accuracy to understand long contexts. This research has implications for the broader field of natural language processing, particularly in the domain of efficient model design for resource-limited settings. By enabling more sophisticated AI capabilities on edge devices, Dolphin paves the way for advanced language processing in a wide range of applications where computational resources are at a premium. The Dolphin model is publicly available at https://huggingface.co/NexaAIDev/Dolphin.