Delfino: Lungo Contesto come una Nuova Modalità per Modelli Linguistici On-Device Energeticamente Efficienti

Dolphin: Long Context as a New Modality for Energy-Efficient On-Device Language Models

August 28, 2024

Autori: Wei Chen, Zhiyuan Li, Shuo Xin, Yihao Wang

cs.AI

Abstract

Questo articolo presenta Dolphin, una nuova architettura decoder-decoder per l'elaborazione efficiente in termini energetici di contesti lunghi nei modelli linguistici. Il nostro approccio affronta le significative sfide di consumo energetico e latenza intrinseche nei modelli on-device. Dolphin impiega un decoder compatto con 0,5 miliardi di parametri per distillare informazioni contestuali estese in un'incorporazione di memoria, riducendo sostanzialmente la lunghezza dell'input per il modello decoder primario con 7 miliardi di parametri. Ispirandoci ai modelli visione-linguaggio, riadattiamo il proiettore di incorporazione delle immagini per codificare contesti testuali lunghi, trattando efficacemente il contesto esteso come una modalità distinta. Questo metodo innovativo consente di elaborare contesti notevolmente più lunghi senza il tipico sovraccarico computazionale associato alle sequenze di input estese. Valutazioni empiriche dimostrano un miglioramento di 10 volte nell'efficienza energetica e una riduzione di 5 volte nella latenza rispetto ai metodi convenzionali di elaborazione del contesto a piena lunghezza senza perdita di qualità della risposta. Il nostro lavoro contribuisce allo sviluppo di modelli linguistici più sostenibili e scalabili per applicazioni on-device, affrontando la necessità critica di tecnologie AI efficienti in termini energetici e reattive in ambienti con risorse limitate, mantenendo l'accuratezza per comprendere contesti lunghi. Questa ricerca ha implicazioni per il più ampio campo dell'elaborazione del linguaggio naturale, in particolare nel dominio della progettazione efficiente di modelli per contesti con risorse limitate. Abilitando capacità AI più sofisticate su dispositivi edge, Dolphin apre la strada all'elaborazione del linguaggio avanzata in una vasta gamma di applicazioni in cui le risorse computazionali sono preziose. Il modello Dolphin è pubblicamente disponibile su https://huggingface.co/NexaAIDev/Dolphin.

English

This paper presents Dolphin, a novel decoder-decoder architecture for energy-efficient processing of long contexts in language models. Our approach addresses the significant energy consumption and latency challenges inherent in on-device models. Dolphin employs a compact 0.5B parameter decoder to distill extensive contextual information into a memory embedding, substantially reducing the input length for the primary 7B parameter decoder model. Inspired by vision-language models, we repurpose the image embedding projector to encode long textual contexts, effectively treating extended context as a distinct modality. This innovative method enables processing of substantially longer contexts without the typical computational overhead associated with extended input sequences. Empirical evaluations demonstrate a 10-fold improvement in energy efficiency and a 5-fold reduction in latency compared to conventional full-length context processing methods without losing quality of the response. Our work contributes to the development of more sustainable and scalable language models for on-device applications, addressing the critical need for energy-efficient and responsive AI technologies in resource-constrained environments while maintaining the accuracy to understand long contexts. This research has implications for the broader field of natural language processing, particularly in the domain of efficient model design for resource-limited settings. By enabling more sophisticated AI capabilities on edge devices, Dolphin paves the way for advanced language processing in a wide range of applications where computational resources are at a premium. The Dolphin model is publicly available at https://huggingface.co/NexaAIDev/Dolphin.