ファインチューニングとモデルマージングを通じて普遍的特徴の追跡

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

著者: Niels Horn, Desmond Elliott

cs.AI

要旨

異なるテキストのドメインで微調整されたモデル間で、特徴がどのように現れ、消え、持続するかを研究しています。より具体的には、BabyLMコーパスとThe StackからのPythonコードの組み合わせでトレーニングされた基本的な1層Transformer言語モデルから始めます。この基本モデルは、それぞれTinyStoriesとLuaプログラミング言語の2つの新しいテキストのドメインに適応され、そしてこれら2つのモデルは球面線形補間を使用してマージされます。私たちの探究は、小規模モデルと疎なオートエンコーダを使用した典型的な転移学習シナリオにおける特徴の安定性と変換について、より深い洞察を提供することを目指しています。

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.