Non Gettare Via il Tuo Modello Pre-addestrato

Abstract

L'addestramento per l'allineamento presenta dei compromessi: aiuta i modelli linguistici (LM) a migliorare nel ragionamento e nel seguire le istruzioni, ma potrebbe portare a una perdita di abilità come la creatività e la calibrazione, dove i modelli base non allineati sono più performanti. Il nostro obiettivo è ottenere il meglio di entrambi i mondi attraverso la collaborazione tra modelli, in cui diversi modelli nel processo di addestramento collaborano e si completano a vicenda. Poiché le risposte dei LM presentano abilità interconnesse che favoriscono modelli diversi, proponiamo la Generazione a Scambio (Switch Generation), in cui versioni pre-addestrate e allineate del modello si alternano per "parlare" in una sequenza di risposte. Nello specifico, addestriamo un LM selettore imparando dai risultati della scelta di diversi modelli per generare il segmento successivo in una varietà di query e contesti. Al momento dell'inferenza, il LM selettore guida diversi checkpoint del modello per generare dinamicamente il segmento successivo dove le loro capacità sono più necessarie. Esperimenti estesi con 8 baseline di collaborazione tra modelli e 18 dataset dimostrano che 1) la collaborazione tra modelli supera costantemente i modelli individuali in 16 su 18 task, e 2) la Generazione a Scambio supera ulteriormente le baseline del 12,9% in media. Un'analisi più approfondita rivela che la Generazione a Scambio scopre abilità compositive per risolvere problemi in cui i modelli individuali faticano e si generalizza a modelli e task non visti, riutilizzando e riproponendo sottoprodotti nei costosi processi di addestramento dei modelli che altrimenti verrebbero scartati.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.

Non Gettare Via il Tuo Modello Pre-addestrato

Don't Throw Away Your Pretrained Model

Abstract

Support