Отслеживание универсальных характеристик через настройку и объединение моделей.

Tracking Universal Features Through Fine-Tuning and Model Merging

October 16, 2024

Авторы: Niels Horn, Desmond Elliott

cs.AI

Аннотация

Мы изучаем, как признаки возникают, исчезают и сохраняются в различных моделях, настраиваемых на различных доменах текста. Более конкретно, мы начинаем с базовой однослойной модели языкового трансформера, обученной на комбинации корпуса BabyLM и коллекции кода Python из The Stack. Эта базовая модель адаптируется к двум новым доменам текста: TinyStories и языку программирования Lua, соответственно; затем эти две модели объединяются с использованием сферической линейной интерполяции. Наше исследование направлено на более глубокое понимание стабильности и преобразования признаков в типичных сценариях обучения передаче с использованием моделей малого масштаба и разреженных автоэнкодеров.

English

We study how features emerge, disappear, and persist across models fine-tuned on different domains of text. More specifically, we start from a base one-layer Transformer language model that is trained on a combination of the BabyLM corpus, and a collection of Python code from The Stack. This base model is adapted to two new domains of text: TinyStories, and the Lua programming language, respectively; and then these two models are merged using these two models using spherical linear interpolation. Our exploration aims to provide deeper insights into the stability and transformation of features across typical transfer-learning scenarios using small-scale models and sparse auto-encoders.