Contrôle LLM : Évolution Contrôlée pour la Rétention de l'Intelligence dans LLM

Control LLM: Controlled Evolution for Intelligence Retention in LLM

January 19, 2025

Auteurs: Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu

cs.AI

Résumé

Les grands modèles de langage (LLM) exigent des ressources computationnelles significatives, rendant essentiel l'amélioration de leurs capacités sans reformation à partir de zéro. Un défi clé dans ce domaine est l'oubli catastrophique (CF), qui entrave les performances lors de la pré-formation continue (CPT) et du fine-tuning supervisé continu (CSFT). Nous proposons Control LLM, une approche novatrice qui exploite des blocs de transformateurs pré-entraînés et étendus en parallèle, alignant leurs états cachés grâce à des stratégies d'interpolation. Cette méthode préserve efficacement les performances sur les tâches existantes tout en intégrant de manière transparente de nouvelles connaissances. Des expériences approfondies démontrent l'efficacité de Control LLM à la fois en CPT et en CSFT. Sur Llama3.1-8B-Instruct, il réalise des améliorations significatives en raisonnement mathématique (+14,4% sur Math-Hard) et en performance de codage (+10% sur MBPP-PLUS). Sur Llama3.1-8B, il améliore les capacités multilingues (+10,6% sur C-Eval, +6,8% sur CMMLU, et +30,2% sur CMMLU-0shot-CoT). Il surpasse les méthodes existantes et atteint l'état de l'art parmi les modèles open-source ajustés à partir du même modèle de base, en utilisant substantiellement moins de données et de calcul. De manière cruciale, ces gains sont réalisés tout en préservant de solides capacités originales, avec une dégradation minimale (<4,3% sur MMLU) comparée à >35% dans les modèles open-source de mathématiques et de codage. Cette approche a été déployée avec succès dans les produits de recherche d'emploi et de publicité de LinkedIn alimentés par GenAI. Pour soutenir davantage la recherche, nous publions le code d'entraînement et d'évaluation (https://github.com/linkedin/ControlLLM) ainsi que des modèles entraînés sur des ensembles de données publics (https://huggingface.co/ControlLLM) à la communauté.

English

Large Language Models (LLMs) demand significant computational resources, making it essential to enhance their capabilities without retraining from scratch. A key challenge in this domain is catastrophic forgetting (CF), which hampers performance during Continuous Pre-training (CPT) and Continuous Supervised Fine-Tuning (CSFT). We propose Control LLM, a novel approach that leverages parallel pre-trained and expanded transformer blocks, aligning their hidden-states through interpolation strategies This method effectively preserves performance on existing tasks while seamlessly integrating new knowledge. Extensive experiments demonstrate the effectiveness of Control LLM in both CPT and CSFT. On Llama3.1-8B-Instruct, it achieves significant improvements in mathematical reasoning (+14.4% on Math-Hard) and coding performance (+10% on MBPP-PLUS). On Llama3.1-8B, it enhances multilingual capabilities (+10.6% on C-Eval, +6.8% on CMMLU, and +30.2% on CMMLU-0shot-CoT). It surpasses existing methods and achieves SOTA among open-source models tuned from the same base model, using substantially less data and compute. Crucially, these gains are realized while preserving strong original capabilities, with minimal degradation (<4.3% on MMLU) compared to >35% in open-source Math and Coding models. This approach has been successfully deployed in LinkedIn's GenAI-powered job seeker and Ads unit products. To support further research, we release the training and evaluation code (https://github.com/linkedin/ControlLLM) along with models trained on public datasets ( https://huggingface.co/ControlLLM) to the community.