Werfen Sie Ihr vortrainiertes Modell nicht weg

Don't Throw Away Your Pretrained Model

October 10, 2025

papers.authors: Shangbin Feng, Wenhao Yu, Yike Wang, Hongming Zhang, Yulia Tsvetkov, Dong Yu

cs.AI

papers.abstract

Alignment-Training bringt Kompromisse mit sich: Es hilft Sprachmodellen (LMs), ihre Fähigkeiten im logischen Denken und Befolgen von Anweisungen zu verbessern, kann jedoch zu Einbußen in Bereichen wie Kreativität und Kalibrierung führen, in denen nicht-alignierte Basismodelle besser abschneiden. Unser Ziel ist es, das Beste aus beiden Welten durch Modellkollaboration zu erreichen, bei der verschiedene Modelle im Trainingsprozess zusammenarbeiten und sich gegenseitig ergänzen. Da LM-Antworten ineinandergreifende Fähigkeiten aufweisen, die unterschiedliche Modelle begünstigen, schlagen wir Switch Generation vor, bei der vortrainierte und alignierte Modellversionen abwechselnd in einer Antwortsequenz „sprechen“. Konkret trainieren wir ein Switcher-LM, indem wir aus den Ergebnissen lernen, unterschiedliche Modelle zur Generierung des nächsten Abschnitts über diverse Anfragen und Kontexte hinweg auszuwählen. Zur Inferenzzeit leitet das Switcher-LM verschiedene Modell-Checkpoints an, um den nächsten Abschnitt dynamisch dort zu generieren, wo ihre Stärken am meisten benötigt werden. Umfangreiche Experimente mit 8 Modellkollaborations-Baselines und 18 Datensätzen zeigen, dass 1) Modellkollaboration auf 16 von 18 Aufgaben durchweg besser abschneidet als einzelne Modelle und 2) Switch Generation die Baselines im Durchschnitt um 12,9 % übertrifft. Weitere Analysen zeigen, dass Switch Generation zusammengesetzte Fähigkeiten entdeckt, um Probleme zu lösen, bei denen einzelne Modelle Schwierigkeiten haben, und sich auf unbekannte Modelle und Aufgaben verallgemeinern lässt, indem Nebenprodukte aus teuren Modelltrainingspipelines wiederverwendet und umfunktioniert werden, die ansonsten verworfen würden.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.