制御された進化：LLMにおける知能保持のための制御

Control LLM: Controlled Evolution for Intelligence Retention in LLM

January 19, 2025

著者: Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu

cs.AI

要旨

大規模言語モデル（LLM）は膨大な計算リソースを必要とし、ゼロからの再トレーニングなしにその能力を向上させることが不可欠です。この領域における主要な課題は、連続事前トレーニング（CPT）および連続教師付きファインチューニング（CSFT）中に性能を妨げる「catastrophic forgetting（CF）」です。私たちは、並行して事前トレーニングされた拡張トランスフォーマーブロックを活用し、その隠れ状態を補間戦略を通じて整列させる革新的なアプローチである「Control LLM」を提案します。この手法は、既存のタスクでの性能を効果的に保持しながら新しい知識をシームレスに統合します。 包括的な実験により、Control LLMのCPTおよびCSFTにおける効果が示されています。Llama3.1-8B-Instructでは、数学的推論（Math-Hardで+14.4%）およびコーディング性能（MBPP-PLUSで+10%）で著しい改善が実現されました。Llama3.1-8Bでは、多言語能力が向上し、C-Eval（+10.6%）、CMMLU（+6.8%）、CMMLU-0shot-CoT（+30.2%）での成果を上げました。既存の手法を凌駕し、同じ基本モデルから調整されたオープンソースモデルの中でSOTAを達成し、大幅に少ないデータと計算量で実現しています。重要なのは、これらの利点が、強力な元の能力を保持しつつ、オープンソースの数学およびコーディングモデルの35%以上に比べて最小限の劣化（MMLUで<4.3%）で実現されていることです。このアプローチは、LinkedInのGenAIパワードの求職者および広告ユニット製品に成功裏に展開されています。 さらなる研究を支援するために、私たちはトレーニングおよび評価コード（https://github.com/linkedin/ControlLLM）と、公開データセットでトレーニングされたモデル（https://huggingface.co/ControlLLM）をコミュニティに提供します。

English

Large Language Models (LLMs) demand significant computational resources, making it essential to enhance their capabilities without retraining from scratch. A key challenge in this domain is catastrophic forgetting (CF), which hampers performance during Continuous Pre-training (CPT) and Continuous Supervised Fine-Tuning (CSFT). We propose Control LLM, a novel approach that leverages parallel pre-trained and expanded transformer blocks, aligning their hidden-states through interpolation strategies This method effectively preserves performance on existing tasks while seamlessly integrating new knowledge. Extensive experiments demonstrate the effectiveness of Control LLM in both CPT and CSFT. On Llama3.1-8B-Instruct, it achieves significant improvements in mathematical reasoning (+14.4% on Math-Hard) and coding performance (+10% on MBPP-PLUS). On Llama3.1-8B, it enhances multilingual capabilities (+10.6% on C-Eval, +6.8% on CMMLU, and +30.2% on CMMLU-0shot-CoT). It surpasses existing methods and achieves SOTA among open-source models tuned from the same base model, using substantially less data and compute. Crucially, these gains are realized while preserving strong original capabilities, with minimal degradation (<4.3% on MMLU) compared to >35% in open-source Math and Coding models. This approach has been successfully deployed in LinkedIn's GenAI-powered job seeker and Ads unit products. To support further research, we release the training and evaluation code (https://github.com/linkedin/ControlLLM) along with models trained on public datasets ( https://huggingface.co/ControlLLM) to the community.