Delta Attivazioni: Una Rappresentazione per Modelli Linguistici di Grande Dimensione Affinati

Delta Activations: A Representation for Finetuned Large Language Models

September 4, 2025

Autori: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim

cs.AI

Abstract

Il successo dei potenti modelli linguistici su larga scala (LLM) open source ha permesso alla comunità di creare una vasta raccolta di modelli post-addestrati adattati a compiti e domini specifici. Tuttavia, navigare e comprendere questi modelli rimane una sfida a causa di metadati incoerenti e repository non strutturati. Introduciamo Delta Activations, un metodo per rappresentare i modelli fine-tunati come embedding vettoriali misurando gli spostamenti nelle loro attivazioni interne rispetto a un modello di base. Questa rappresentazione consente un clustering efficace per dominio e compito, rivelando una struttura nel panorama dei modelli. Delta Activations dimostra inoltre proprietà desiderabili: è robusto in diverse configurazioni di fine-tuning e mostra una proprietà additiva quando i dataset di fine-tuning sono mescolati. Inoltre, dimostriamo che Delta Activations può incorporare compiti tramite fine-tuning con pochi esempi e ne esploriamo ulteriormente l'uso per la selezione e la fusione di modelli. Speriamo che Delta Activations possa facilitare la pratica di riutilizzare modelli pubblicamente disponibili. Il codice è disponibile all'indirizzo https://github.com/OscarXZQ/delta_activations.

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.