Delta-activaties: Een representatie voor fijn afgestelde grote taalmodelen

Delta Activations: A Representation for Finetuned Large Language Models

September 4, 2025

Auteurs: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim

cs.AI

Samenvatting

Het succes van krachtige open-source Large Language Models (LLM's) heeft de gemeenschap in staat gesteld om een uitgebreide collectie van na-training aangepaste modellen te creëren, afgestemd op specifieke taken en domeinen. Het navigeren en begrijpen van deze modellen blijft echter een uitdaging vanwege inconsistente metadata en ongestructureerde repositories. Wij introduceren Delta Activations, een methode om gefinetunede modellen weer te geven als vector embeddings door verschuivingen in hun interne activeringen te meten ten opzichte van een basis model. Deze representatie maakt effectieve clustering op basis van domein en taak mogelijk, waardoor structuur in het model landschap zichtbaar wordt. Delta Activations vertonen ook gewenste eigenschappen: het is robuust in verschillende finetuning-instellingen en toont een additieve eigenschap wanneer finetuning datasets worden gemengd. Daarnaast tonen we aan dat Delta Activations taken kunnen embedden via few-shot finetuning, en verkennen we verder het gebruik ervan voor modelselectie en -samenvoeging. Wij hopen dat Delta Activations de praktijk van het hergebruiken van publiek beschikbare modellen kan vergemakkelijken. Code is beschikbaar op https://github.com/OscarXZQ/delta_activations.

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.