LlamaDuo: конвейер LLMOps для плавного перехода от сервисных LLM к локальным LLM малого масштаба

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

Авторы: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

Аннотация

Широкое принятие облачных собственных крупных языковых моделей (LLM) внесло значительные вызовы, включая операционные зависимости, проблемы конфиденциальности и необходимость непрерывного интернет-соединения. В данной работе мы представляем конвейер LLMOps под названием "LlamaDuo" для плавного переноса знаний и способностей от ориентированных на обслуживание LLM к более маленьким, локально управляемым моделям. Этот конвейер критичен для обеспечения непрерывности обслуживания в случае операционных сбоев, строгих политик конфиденциальности или офлайн требований. Наш LlamaDuo включает донастройку небольшой языковой модели на основе сервисного LLM с использованием синтетического набора данных, сгенерированного последним. Если производительность донастроенной модели не соответствует ожиданиям, ее улучшают дополнительной донастройкой с использованием дополнительных похожих данных, созданных сервисным LLM. Этот итерационный процесс гарантирует, что более маленькая модель в конечном итоге может соответствовать или даже превзойти способности сервисного LLM в конкретных задачах последующего этапа, предлагая практичное и масштабируемое решение для управления развертыванием ИИ в ограниченных средах. Проведены обширные эксперименты с передовыми LLM для демонстрации эффективности, адаптивности и доступности LlamaDuo в различных задачах последующего этапа. Наша реализация конвейера доступна по адресу https://github.com/deep-diver/llamaduo.

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.