LlamaDuo: Pipeline LLMOps per una Migrazione Senza Soluzione di Continuità da LLM di Servizio a LLM Locali su Piccola Scala

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

Autori: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

Abstract

L'adozione diffusa di modelli linguistici di grandi dimensioni (LLM) proprietari basati su cloud ha introdotto sfide significative, tra cui dipendenze operative, preoccupazioni relative alla privacy e la necessità di una connessione internet continua. In questo lavoro, presentiamo una pipeline LLMOps, denominata "LlamaDuo", per la migrazione senza soluzione di continuità di conoscenze e capacità da LLM orientati ai servizi a modelli più piccoli e gestibili localmente. Questa pipeline è fondamentale per garantire la continuità del servizio in presenza di guasti operativi, politiche rigorose sulla privacy o requisiti di funzionamento offline. Il nostro LlamaDuo prevede il fine-tuning di un modello linguistico di piccole dimensioni rispetto all'LLM di servizio, utilizzando un dataset sintetico generato da quest'ultimo. Se le prestazioni del modello fine-tuned non soddisfano le aspettative, esso viene ulteriormente migliorato attraverso un ulteriore fine-tuning con dati aggiuntivi simili creati dall'LLM di servizio. Questo processo iterativo garantisce che il modello più piccolo possa alla fine eguagliare o addirittura superare le capacità dell'LLM di servizio in specifici task downstream, offrendo una soluzione pratica e scalabile per la gestione delle implementazioni di IA in ambienti vincolati. Sono stati condotti esperimenti estesi con LLM all'avanguardia per dimostrare l'efficacia, l'adattabilità e l'accessibilità economica di LlamaDuo in vari task downstream. La nostra implementazione della pipeline è disponibile all'indirizzo https://github.com/deep-diver/llamaduo.

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.