No Deseches Tu Modelo Preentrenado

Resumen

El entrenamiento de alineación tiene compensaciones: ayuda a los modelos de lenguaje (LM, por sus siglas en inglés) a mejorar en razonamiento y seguimiento de instrucciones, pero podría resultar en una pérdida de habilidades como la creatividad y la calibración, áreas en las que los modelos base no alineados suelen ser mejores. Nuestro objetivo es aprovechar lo mejor de ambos mundos mediante la colaboración de modelos, donde diferentes modelos en la pipeline de entrenamiento colaboran y se complementan entre sí. Dado que las respuestas de los LM presentan habilidades entrelazadas que favorecen a diferentes modelos, proponemos la Generación por Conmutación (Switch Generation), donde versiones preentrenadas y alineadas de los modelos se turnan para "hablar" en una secuencia de respuestas. Específicamente, entrenamos un LM conmutador aprendiendo de los resultados de elegir diferentes modelos para generar el siguiente segmento en diversas consultas y contextos. Durante la inferencia, el LM conmutador guía a diferentes puntos de control de modelos para generar dinámicamente el siguiente segmento donde sus fortalezas son más necesarias. Experimentos exhaustivos con 8 líneas base de colaboración de modelos y 18 conjuntos de datos muestran que 1) la colaboración de modelos supera consistentemente a los modelos individuales en 16 de las 18 tareas, y 2) la Generación por Conmutación supera a las líneas base en un 12.9% en promedio. Un análisis adicional revela que la Generación por Conmutación descubre habilidades compositivas para resolver problemas en los que los modelos individuales tienen dificultades y se generaliza a modelos y tareas no vistos, reutilizando y reorientando subproductos en costosas pipelines de entrenamiento de modelos que de otro modo serían descartados.

English

Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.

No Deseches Tu Modelo Preentrenado

Don't Throw Away Your Pretrained Model

Resumen

Support