LlamaDuo: 서비스 LLM에서 소규모 지역 LLM으로의 원활한 이주를 위한 LLMOps 파이프라인

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

저자: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

초록

클라우드 기반의 전용 대형 언어 모델(LLMs)의 널리 퍼진 채택은 운영 의존성, 개인 정보 보호 문제, 그리고 지속적인 인터넷 연결 필요성을 포함한 중요한 도전 과제를 도입했습니다. 본 연구에서는 서비스 중심의 LLMs로부터 지식과 능력을 작은 규모의 지역적으로 관리 가능한 모델로의 원활한 이전을 위한 LLMOps 파이프라인 "LlamaDuo"를 소개합니다. 이 파이프라인은 운영 장애, 엄격한 개인 정보 보호 정책, 또는 오프라인 요구 사항의 존재에서 서비스 지속성을 보장하는 데 중요합니다. 우리의 LlamaDuo는 후자에 의해 생성된 합성 데이터셋을 사용하여 서비스 LLM에 대해 작은 언어 모델을 세밀하게 조정하는 것을 포함합니다. 세밀하게 조정된 모델의 성능이 기대에 미치지 못할 경우, 서비스 LLM에 의해 생성된 추가 유사 데이터를 사용하여 더 많은 세밀한 조정을 통해 모델을 향상시킵니다. 이 반복적인 과정은 작은 모델이 특정 하류 작업에서 최종적으로 서비스 LLM의 능력을 맞거나 심지어 능가할 수 있도록 보장하며, 제한된 환경에서 AI 배포를 관리하기 위한 실용적이고 확장 가능한 솔루션을 제공합니다. 선도적인 LLMs와의 포괄적인 실험을 통해 LlamaDuo의 효과적이고 적응적이며 경제적인 효과를 입증하기 위한 실험이 수행되었습니다. 저희의 파이프라인 구현은 https://github.com/deep-diver/llamaduo에서 확인하실 수 있습니다.

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.