Não Descarte Seu Modelo Pré-treinado

Resumo

O treinamento de alinhamento apresenta tradeoffs: ele ajuda os modelos de linguagem (LMs) a melhorar em raciocínio e seguimento de instruções, mas pode resultar em perdas em habilidades como criatividade e calibração, onde os modelos base não alinhados se saem melhor. Nosso objetivo é aproveitar o melhor dos dois mundos por meio da colaboração de modelos, onde diferentes modelos no pipeline de treinamento colaboram e se complementam. Como as respostas dos LMs apresentam habilidades intercaladas que favorecem diferentes modelos, propomos a Geração Alternada (Switch Generation), onde versões pré-treinadas e alinhadas dos modelos se alternam para "falar" em uma sequência de respostas. Especificamente, treinamos um LM alternador aprendendo com os resultados da escolha de diferentes modelos para gerar o próximo segmento em diversas consultas e contextos. No momento da inferência, o LM alternador orienta diferentes checkpoints de modelos para gerar dinamicamente o próximo segmento onde seus pontos fortes são mais necessários. Experimentos extensivos com 8 baselines de colaboração de modelos e 18 conjuntos de dados mostram que 1) a colaboração de modelos supera consistentemente os modelos individuais em 16 das 18 tarefas, e 2) a Geração Alternada supera ainda mais as baselines em média 12,9%. Análises adicionais revelam que a Geração Alternada descobre habilidades composicionais para resolver problemas onde os modelos individuais têm dificuldades e generaliza para modelos e tarefas não vistos, reutilizando e reaproveitando subprodutos em pipelines caros de treinamento de modelos que, de outra forma, seriam descartados.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.

Não Descarte Seu Modelo Pré-treinado

Don't Throw Away Your Pretrained Model

Resumo

Support