Ne Jetez Pas Votre Modèle Préentraîné

papers.abstract

L'entraînement à l'alignement présente des compromis : il aide les modèles de langage (LMs) à améliorer leur raisonnement et leur capacité à suivre des instructions, mais peut entraîner une perte de compétences telles que la créativité et la calibration, domaines où les modèles de base non alignés sont plus performants. Notre objectif est de tirer le meilleur des deux mondes grâce à la collaboration entre modèles, où différents modèles dans le pipeline d'entraînement collaborent et se complètent. Étant donné que les réponses des LMs intègrent des compétences entrelacées qui favorisent différents modèles, nous proposons la **Génération par Commutation** (Switch Generation), où des versions pré-entraînées et alignées des modèles prennent tour à tour la parole dans une séquence de réponses. Plus précisément, nous entraînons un modèle de commutation (switcher LM) en apprenant des résultats du choix de différents modèles pour générer le segment suivant à travers diverses requêtes et contextes. Au moment de l'inférence, le switcher LM guide différents points de contrôle de modèles pour générer dynamiquement le segment suivant là où leurs forces sont les plus nécessaires. Des expériences approfondies avec 8 bases de référence de collaboration de modèles et 18 ensembles de données montrent que 1) la collaboration entre modèles surpasse systématiquement les modèles individuels sur 16 des 18 tâches, et 2) la Génération par Commutation surpasse encore les bases de référence de 12,9 % en moyenne. Une analyse plus poussée révèle que la Génération par Commutation découvre des compétences compositionnelles pour résoudre des problèmes où les modèles individuels échouent, et généralise à des modèles et tâches non vus, réutilisant et réaffectant les sous-produits des pipelines d'entraînement de modèles coûteux qui seraient autrement jetés.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.

Ne Jetez Pas Votre Modèle Préentraîné

Don't Throw Away Your Pretrained Model

papers.abstract

Support