Rastreamento de Características Universais Através de Ajuste Fino e Fusão de Modelos

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

Autores: Niels Horn, Desmond Elliott

cs.AI

Resumo

Estudamos como as características surgem, desaparecem e persistem em modelos ajustados em diferentes domínios de texto. Mais especificamente, partimos de um modelo de linguagem Transformer de uma camada base, treinado em uma combinação do corpus BabyLM e uma coleção de códigos Python do The Stack. Este modelo base é adaptado para dois novos domínios de texto: TinyStories e a linguagem de programação Lua, respectivamente; e então esses dois modelos são mesclados usando interpolação linear esférica. Nossa exploração visa fornecer insights mais profundos sobre a estabilidade e transformação de características em cenários típicos de transferência de aprendizado usando modelos em pequena escala e auto-codificadores esparsos.

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.