LlamaDuo : Pipeline LLMOps pour une migration transparente des LLM de service vers des LLM locaux à petite échelle.

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

Auteurs: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

Résumé

L'adoption généralisée des grands modèles de langage propriétaires basés sur le cloud a introduit des défis significatifs, notamment des dépendances opérationnelles, des préoccupations en matière de confidentialité et la nécessité d'une connectivité Internet continue. Dans ce travail, nous présentons un pipeline LLMOps, "LlamaDuo", pour la migration transparente des connaissances et des capacités des LLMs orientés service vers des modèles plus petits et gérables localement. Ce pipeline est essentiel pour garantir la continuité du service en cas de défaillances opérationnelles, de politiques de confidentialité strictes ou d'exigences hors ligne. Notre LlamaDuo implique un ajustement fin d'un petit modèle de langage par rapport au LLM de service en utilisant un ensemble de données synthétiques généré par ce dernier. Si les performances du modèle ajusté finement ne répondent pas aux attentes, il est amélioré par un ajustement fin supplémentaire avec des données similaires supplémentaires créées par le LLM de service. Ce processus itératif garantit que le modèle plus petit peut éventuellement égaler, voire dépasser, les capacités du LLM de service dans des tâches spécifiques en aval, offrant ainsi une solution pratique et évolutive pour la gestion des déploiements d'IA dans des environnements contraints. Des expériences approfondies avec des LLM de pointe sont menées pour démontrer l'efficacité, l'adaptabilité et l'accessibilité de LlamaDuo dans diverses tâches en aval. Notre implémentation du pipeline est disponible sur https://github.com/deep-diver/llamaduo.

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.