Gooi je voorgetrainde model niet weg

Don't Throw Away Your Pretrained Model

October 10, 2025

Auteurs: Shangbin Feng, Wenhao Yu, Yike Wang, Hongming Zhang, Yulia Tsvetkov, Dong Yu

cs.AI

Samenvatting

Alignment training heeft afwegingen: het helpt taalmodellen (LM's) te verbeteren in redeneren en instructies volgen, maar kan ten koste gaan van vaardigheden zoals creativiteit en kalibratie, waar niet-uitgelijnde basismodellen beter in zijn. Wij streven ernaar het beste van beide werelden te bereiken door modelcollaboratie, waarbij verschillende modellen in de trainingspipeline samenwerken en elkaar aanvullen. Omdat LM-reacties vaardigheden combineren die verschillende modellen begunstigen, stellen we Switch Generation voor, waarbij gepretrainde en uitgelijnde modelversies om de beurt 'spreken' in een reactiesequentie. Specifiek trainen we een schakelaar-LM door te leren uit de resultaten van het kiezen van verschillende modellen om het volgende segment te genereren over diverse vragen en contexten. Tijdens inferentie leidt de schakelaar-LM verschillende modelcheckpoints om dynamisch het volgende segment te genereren waar hun sterktes het meest nodig zijn. Uitgebreide experimenten met 8 modelcollaboratie-baselines en 18 datasets tonen aan dat 1) modelcollaboratie consistent beter presteert dan individuele modellen op 16 van de 18 taken, en 2) Switch Generation de baselines verder overtreft met gemiddeld 12,9%. Verdere analyse onthult dat Switch Generation compositorische vaardigheden ontdekt om problemen op te lossen waar individuele modellen moeite mee hebben, en generaliseert naar onbekende modellen en taken, waarbij bijproducten uit dure modeltrainingspipeline worden hergebruikt en herbestemd die anders zouden worden weggegooid.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.