Delta-Aktivierungen: Eine Repräsentation für feinabgestimmte große Sprachmodelle

Delta Activations: A Representation for Finetuned Large Language Models

September 4, 2025

papers.authors: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim

cs.AI

papers.abstract

Der Erfolg leistungsstarker Open-Source-Large-Language-Modelle (LLMs) hat es der Community ermöglicht, eine umfangreiche Sammlung nachtrainierter Modelle zu erstellen, die an spezifische Aufgaben und Domänen angepasst sind. Die Navigation und das Verständnis dieser Modelle bleiben jedoch aufgrund inkonsistenter Metadaten und unstrukturierter Repositories eine Herausforderung. Wir stellen Delta-Aktivierungen vor, eine Methode zur Darstellung feinabgestimmter Modelle als Vektoreinbettungen, indem Verschiebungen in ihren internen Aktivierungen im Vergleich zu einem Basismodell gemessen werden. Diese Darstellung ermöglicht eine effektive Clusterbildung nach Domäne und Aufgabe und offenbart Strukturen in der Modelllandschaft. Delta-Aktivierungen weisen zudem wünschenswerte Eigenschaften auf: Sie sind robust gegenüber verschiedenen Feinabstimmungseinstellungen und zeigen eine additive Eigenschaft, wenn Feinabstimmungsdatensätze gemischt werden. Darüber hinaus zeigen wir, dass Delta-Aktivierungen Aufgaben durch Few-Shot-Feinabstimmung einbetten können, und untersuchen ihre Verwendung für die Modellauswahl und -zusammenführung. Wir hoffen, dass Delta-Aktivierungen die Praxis der Wiederverwendung öffentlich verfügbarer Modelle erleichtern können. Der Code ist unter https://github.com/OscarXZQ/delta_activations verfügbar.

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.