Dauphin : Le contexte long en tant que nouvelle modalité pour des modèles de langage sur appareil économes en énergie

Dolphin: Long Context as a New Modality for Energy-Efficient On-Device Language Models

August 28, 2024

Auteurs: Wei Chen, Zhiyuan Li, Shuo Xin, Yihao Wang

cs.AI

Résumé

Cet article présente Dolphin, une architecture novatrice de décodeur-décodeur pour le traitement économe en énergie de longs contextes dans les modèles de langage. Notre approche aborde les importants défis de consommation d'énergie et de latence inhérents aux modèles embarqués. Dolphin utilise un décodeur compact de 0,5 milliard de paramètres pour condenser de vastes informations contextuelles dans un encodage en mémoire, réduisant considérablement la longueur d'entrée pour le modèle de décodeur principal de 7 milliards de paramètres. Inspirés par les modèles vision-langage, nous réutilisons le projecteur d'encodage d'image pour encoder de longs contextes textuels, traitant efficacement le contexte étendu comme une modalité distincte. Cette méthode innovante permet de traiter des contextes nettement plus longs sans la surcharge computationnelle habituelle associée aux séquences d'entrée étendues. Les évaluations empiriques montrent une amélioration de 10 fois de l'efficacité énergétique et une réduction de 5 fois de la latence par rapport aux méthodes conventionnelles de traitement de contexte complet sans perte de qualité de la réponse. Notre travail contribue au développement de modèles de langage plus durables et évolutifs pour les applications embarquées, répondant au besoin critique de technologies d'IA économes en énergie et réactives dans des environnements aux ressources limitées tout en maintenant la précision pour comprendre de longs contextes. Cette recherche a des implications pour le domaine plus large du traitement du langage naturel, en particulier dans le domaine de la conception efficace de modèles pour des paramètres limités. En permettant des capacités d'IA plus sophistiquées sur les appareils périphériques, Dolphin ouvre la voie au traitement de langage avancé dans un large éventail d'applications où les ressources computationnelles sont rares. Le modèle Dolphin est disponible publiquement sur https://huggingface.co/NexaAIDev/Dolphin.

English

This paper presents Dolphin, a novel decoder-decoder architecture for energy-efficient processing of long contexts in language models. Our approach addresses the significant energy consumption and latency challenges inherent in on-device models. Dolphin employs a compact 0.5B parameter decoder to distill extensive contextual information into a memory embedding, substantially reducing the input length for the primary 7B parameter decoder model. Inspired by vision-language models, we repurpose the image embedding projector to encode long textual contexts, effectively treating extended context as a distinct modality. This innovative method enables processing of substantially longer contexts without the typical computational overhead associated with extended input sequences. Empirical evaluations demonstrate a 10-fold improvement in energy efficiency and a 5-fold reduction in latency compared to conventional full-length context processing methods without losing quality of the response. Our work contributes to the development of more sustainable and scalable language models for on-device applications, addressing the critical need for energy-efficient and responsive AI technologies in resource-constrained environments while maintaining the accuracy to understand long contexts. This research has implications for the broader field of natural language processing, particularly in the domain of efficient model design for resource-limited settings. By enabling more sophisticated AI capabilities on edge devices, Dolphin paves the way for advanced language processing in a wide range of applications where computational resources are at a premium. The Dolphin model is publicly available at https://huggingface.co/NexaAIDev/Dolphin.