Controle LLM: Evolução Controlada para Retenção de Inteligência em LLM

Control LLM: Controlled Evolution for Intelligence Retention in LLM

January 19, 2025

Autores: Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demandam recursos computacionais significativos, tornando essencial aprimorar suas capacidades sem a necessidade de reentrenamento do zero. Um desafio chave nesse domínio é o esquecimento catastrófico (CF), que prejudica o desempenho durante o Pré-treinamento Contínuo (CPT) e o Ajuste Fino Supervisionado Contínuo (CSFT). Propomos o Control LLM, uma abordagem inovadora que aproveita blocos de transformadores pré-treinados e expandidos em paralelo, alinhando seus estados ocultos por meio de estratégias de interpolação. Este método preserva efetivamente o desempenho em tarefas existentes enquanto integra novos conhecimentos de forma contínua. Experimentos extensivos demonstram a eficácia do Control LLM tanto no CPT quanto no CSFT. No Llama3.1-8B-Instruct, ele alcança melhorias significativas em raciocínio matemático (+14,4% em Math-Hard) e desempenho de codificação (+10% em MBPP-PLUS). No Llama3.1-8B, ele aprimora as capacidades multilíngues (+10,6% em C-Eval, +6,8% em CMMLU e +30,2% em CMMLU-0shot-CoT). Supera métodos existentes e atinge o estado da arte entre modelos de código aberto ajustados a partir do mesmo modelo base, utilizando substancialmente menos dados e recursos computacionais. Crucialmente, esses ganhos são alcançados preservando fortes capacidades originais, com degradação mínima (<4,3% em MMLU) em comparação com >35% em modelos de matemática e codificação de código aberto. Essa abordagem foi implementada com sucesso nos produtos GenAI da LinkedIn para busca de emprego e unidades de anúncios. Para apoiar pesquisas adicionais, disponibilizamos o código de treinamento e avaliação (https://github.com/linkedin/ControlLLM) juntamente com modelos treinados em conjuntos de dados públicos (https://huggingface.co/ControlLLM) para a comunidade.

English

Large Language Models (LLMs) demand significant computational resources, making it essential to enhance their capabilities without retraining from scratch. A key challenge in this domain is catastrophic forgetting (CF), which hampers performance during Continuous Pre-training (CPT) and Continuous Supervised Fine-Tuning (CSFT). We propose Control LLM, a novel approach that leverages parallel pre-trained and expanded transformer blocks, aligning their hidden-states through interpolation strategies This method effectively preserves performance on existing tasks while seamlessly integrating new knowledge. Extensive experiments demonstrate the effectiveness of Control LLM in both CPT and CSFT. On Llama3.1-8B-Instruct, it achieves significant improvements in mathematical reasoning (+14.4% on Math-Hard) and coding performance (+10% on MBPP-PLUS). On Llama3.1-8B, it enhances multilingual capabilities (+10.6% on C-Eval, +6.8% on CMMLU, and +30.2% on CMMLU-0shot-CoT). It surpasses existing methods and achieves SOTA among open-source models tuned from the same base model, using substantially less data and compute. Crucially, these gains are realized while preserving strong original capabilities, with minimal degradation (<4.3% on MMLU) compared to >35% in open-source Math and Coding models. This approach has been successfully deployed in LinkedIn's GenAI-powered job seeker and Ads unit products. To support further research, we release the training and evaluation code (https://github.com/linkedin/ControlLLM) along with models trained on public datasets ( https://huggingface.co/ControlLLM) to the community.