Verfolgung universeller Merkmale durch Feinabstimmung und Modellzusammenführung

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

Autoren: Niels Horn, Desmond Elliott

cs.AI

Zusammenfassung

Wir untersuchen, wie Merkmale in Modellen entstehen, verschwinden und über verschiedene auf Text spezialisierte Modelle hinweg bestehen bleiben. Genauer gesagt beginnen wir mit einem grundlegenden Transformer-Sprachmodell mit einer Schicht, das auf einer Kombination des BabyLM-Korpus und einer Sammlung von Python-Code aus The Stack trainiert wird. Dieses Grundmodell wird an zwei neue Textdomänen angepasst: TinyStories und die Lua-Programmiersprache; und dann werden diese beiden Modelle mithilfe einer sphärischen linearen Interpolation fusioniert. Unsere Untersuchung zielt darauf ab, tiefere Einblicke in die Stabilität und Transformation von Merkmalen über typische Szenarien des Transfer-Learnings mithilfe von kleinskaligen Modellen und spärlichen Autoencodern zu liefern.

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.