사전 학습된 모델을 버리지 마세요

Don't Throw Away Your Pretrained Model

October 10, 2025

저자: Shangbin Feng, Wenhao Yu, Yike Wang, Hongming Zhang, Yulia Tsvetkov, Dong Yu

cs.AI

초록

정렬 훈련에는 트레이드오프가 존재합니다: 언어 모델(LM)이 추론 및 지시 따르기 능력에서 향상되도록 도와주지만, 창의성과 보정(calibration)과 같은 기술에서는 정렬되지 않은 기본 모델이 더 뛰어난 경우가 있습니다. 우리는 모델 협업을 통해 두 가지 장점을 모두 취하는 것을 목표로 합니다. 여기서는 훈련 파이프라인 내의 다양한 모델들이 서로 협력하고 상호 보완합니다. LM 응답은 서로 다른 모델에 유리한 교차 기술을 특징으로 하기 때문에, 사전 훈련된 모델과 정렬된 모델 버전이 응답 시퀀스에서 번갈아가며 "말하도록" 하는 Switch Generation을 제안합니다. 구체적으로, 우리는 다양한 쿼리와 컨텍스트에서 다음 세그먼트를 생성하기 위해 서로 다른 모델을 선택한 결과를 학습함으로써 스위처 LM을 훈련합니다. 추론 시에는 스위처 LM이 서로 다른 모델 체크포인트를 안내하여 각 모델의 강점이 가장 필요한 부분에서 다음 세그먼트를 동적으로 생성합니다. 8개의 모델 협업 베이스라인과 18개의 데이터셋을 사용한 광범위한 실험 결과, 1) 모델 협업은 18개 작업 중 16개에서 개별 모델보다 일관되게 우수한 성능을 보였으며, 2) Switch Generation은 베이스라인보다 평균 12.9% 더 우수한 성능을 보였습니다. 추가 분석 결과, Switch Generation은 개별 모델이 어려움을 겪는 문제를 해결하기 위한 구성적 기술을 발견하고, 보이지 않는 모델과 작업에 일반화하며, 고가의 모델 훈련 파이프라인에서 버려지는 부산물을 재사용하고 재활용합니다.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.