LlamaDuo: LLMOps-pijplijn voor naadloze migratie van service-LLM's naar kleinschalige lokale LLM's

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

Auteurs: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

Samenvatting

De wijdverbreide adoptie van cloudgebaseerde, propriëtaire grote taalmodellen (LLM's) heeft aanzienlijke uitdagingen met zich meegebracht, waaronder operationele afhankelijkheden, privacyzorgen en de noodzaak van continue internetverbinding. In dit werk introduceren we een LLMOps-pijplijn, "LlamaDuo", voor de naadloze migratie van kennis en vaardigheden van servicegerichte LLM's naar kleinere, lokaal beheersbare modellen. Deze pijplijn is cruciaal om servicecontinuïteit te waarborgen in het geval van operationele storingen, strikte privacybeleidsregels of offline vereisten. Onze LlamaDuo omvat het finetunen van een klein taalmodel tegen de service-LLM met behulp van een synthetische dataset die door de laatste is gegenereerd. Als de prestaties van het gefinetunde model niet aan de verwachtingen voldoen, wordt het verder verbeterd door aanvullende finetuning met vergelijkbare data die door de service-LLM is gecreëerd. Dit iteratieve proces garandeert dat het kleinere model uiteindelijk de capaciteiten van de service-LLM kan evenaren of zelfs overtreffen in specifieke downstream taken, wat een praktische en schaalbare oplossing biedt voor het beheren van AI-implementaties in beperkte omgevingen. Uitgebreide experimenten met toonaangevende LLM's worden uitgevoerd om de effectiviteit, aanpasbaarheid en betaalbaarheid van LlamaDuo over verschillende downstream taken aan te tonen. Onze pijplijnimplementatie is beschikbaar op https://github.com/deep-diver/llamaduo.

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.