Tracciamento delle Caratteristiche Universali Attraverso il Fine-Tuning e la Fusione dei Modelli

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

Autori: Niels Horn, Desmond Elliott

cs.AI

Abstract

Studiamo come le caratteristiche emergono, scompaiono e persistono attraverso modelli ottimizzati su diversi domini di testo. Più specificamente, partiamo da un modello linguistico Transformer a un solo strato che è addestrato su una combinazione del corpus BabyLM e una raccolta di codice Python da The Stack. Questo modello base è adattato a due nuovi domini di testo: TinyStories e il linguaggio di programmazione Lua, rispettivamente; e poi questi due modelli sono fusi utilizzando l'interpolazione lineare sferica. La nostra esplorazione mira a fornire approfondimenti più dettagliati sulla stabilità e trasformazione delle caratteristiche attraverso scenari tipici di trasferimento di apprendimento utilizzando modelli su piccola scala e autoencoder sparsi.

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.