Suivi des Caractéristiques Universelles à travers le Fine-Tuning et la Fusion de Modèles

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

Auteurs: Niels Horn, Desmond Elliott

cs.AI

Résumé

Nous étudions comment les caractéristiques émergent, disparaissent et persistent à travers des modèles affinés sur différents domaines de texte. Plus spécifiquement, nous partons d'un modèle de langage Transformer à une seule couche qui est entraîné sur une combinaison du corpus BabyLM et d'une collection de code Python provenant de The Stack. Ce modèle de base est adapté à deux nouveaux domaines de texte : TinyStories et le langage de programmation Lua, respectivement ; puis ces deux modèles sont fusionnés en utilisant une interpolation linéaire sphérique. Notre exploration vise à fournir des perspectives plus approfondies sur la stabilité et la transformation des caractéristiques à travers des scénarios typiques de transfert d'apprentissage en utilisant des modèles à petite échelle et des auto-encodeurs épars.

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.