Activation Delta : Une représentation pour les grands modèles de langage affinés

Delta Activations: A Representation for Finetuned Large Language Models

September 4, 2025

papers.authors: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim

cs.AI

papers.abstract

Le succès des modèles de langage de grande envergure (LLMs) open source puissants a permis à la communauté de créer une vaste collection de modèles post-entraînés adaptés à des tâches et domaines spécifiques. Cependant, naviguer et comprendre ces modèles reste un défi en raison de métadonnées incohérentes et de dépôts non structurés. Nous introduisons Delta Activations, une méthode pour représenter les modèles affinés sous forme de vecteurs d'embeddings en mesurant les décalages dans leurs activations internes par rapport à un modèle de base. Cette représentation permet un clustering efficace par domaine et tâche, révélant ainsi une structure dans le paysage des modèles. Delta Activations démontre également des propriétés souhaitables : elle est robuste à différents paramètres d'affinage et présente une propriété additive lorsque les ensembles de données d'affinage sont mélangés. De plus, nous montrons que Delta Activations peut intégrer des tâches via un affinage en few-shot, et explorons son utilisation pour la sélection et la fusion de modèles. Nous espérons que Delta Activations pourra faciliter la réutilisation des modèles disponibles publiquement. Le code est disponible à l'adresse https://github.com/OscarXZQ/delta_activations.

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.