LlamaDuo: サービスLLMから小規模ローカルLLMへのシームレスな移行のためのLLMOpsパイプライン

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs

August 24, 2024

著者: Chansung Park, Juyong Jiang, Fan Wang, Sayak Paul, Jing Tang, Sunghun Kim

cs.AI

要旨

クラウドベースの独自の大規模言語モデル（LLM）の広範な採用は、運用依存性、プライバシー懸念、および連続的なインターネット接続の必要性など、重要な課題を導入しました。本研究では、サービス指向のLLMからより小さな、ローカルで管理しやすいモデルへの知識と能力のシームレスな移行を可能にするLLMOpsパイプライン、「LlamaDuo」を紹介します。このパイプラインは、運用上の障害、厳格なプライバシーポリシー、またはオフライン要件の存在下でのサービスの継続性を確保するために重要です。当社のLlamaDuoは、後者によって生成された合成データセットを使用して、サービスLLMに対して小さな言語モデルを微調整することを含みます。微調整されたモデルのパフォーマンスが期待に達しない場合、サービスLLMによって作成された追加の類似データを使用してさらに微調整されます。この反復プロセスにより、より小さなモデルが最終的に特定の下流タスクでサービスLLMの能力に追いつくか、さらにはそれを上回ることが保証され、制約のある環境でのAI展開の管理に対する実用的でスケーラブルなソリューションが提供されます。主要な先端LLMを用いた包括的な実験が行われ、LlamaDuoの効果的、適応可能、手頃な価格での各種下流タスクにおける有効性が示されます。当社のパイプラインの実装は、https://github.com/deep-diver/llamaduo で入手可能です。

English

The widespread adoption of cloud-based proprietary large language models (LLMs) has introduced significant challenges, including operational dependencies, privacy concerns, and the necessity of continuous internet connectivity. In this work, we introduce an LLMOps pipeline, "LlamaDuo", for the seamless migration of knowledge and abilities from service-oriented LLMs to smaller, locally manageable models. This pipeline is crucial for ensuring service continuity in the presence of operational failures, strict privacy policies, or offline requirements. Our LlamaDuo involves fine-tuning a small language model against the service LLM using a synthetic dataset generated by the latter. If the performance of the fine-tuned model falls short of expectations, it is enhanced by further fine-tuning with additional similar data created by the service LLM. This iterative process guarantees that the smaller model can eventually match or even surpass the service LLM's capabilities in specific downstream tasks, offering a practical and scalable solution for managing AI deployments in constrained environments. Extensive experiments with leading edge LLMs are conducted to demonstrate the effectiveness, adaptability, and affordability of LlamaDuo across various downstream tasks. Our pipeline implementation is available at https://github.com/deep-diver/llamaduo.