Ativações Delta: Uma Representação para Modelos de Linguagem de Grande Escala Ajustados

Delta Activations: A Representation for Finetuned Large Language Models

September 4, 2025

Autores: Zhiqiu Xu, Amish Sethi, Mayur Naik, Ser-Nam Lim

cs.AI

Resumo

O sucesso dos poderosos modelos de linguagem de grande escala (LLMs) de código aberto permitiu que a comunidade criasse uma vasta coleção de modelos pós-treinados adaptados a tarefas e domínios específicos. No entanto, navegar e compreender esses modelos continua sendo um desafio devido a metadados inconsistentes e repositórios não estruturados. Apresentamos as Ativações Delta, um método para representar modelos ajustados como embeddings vetoriais, medindo as mudanças em suas ativações internas em relação a um modelo base. Essa representação permite um agrupamento eficaz por domínio e tarefa, revelando estrutura no panorama de modelos. As Ativações Delta também demonstram propriedades desejáveis: são robustas em diferentes configurações de ajuste fino e exibem uma propriedade aditiva quando os conjuntos de dados de ajuste fino são misturados. Além disso, mostramos que as Ativações Delta podem incorporar tarefas por meio de ajuste fino com poucos exemplos e exploramos ainda mais seu uso para seleção e fusão de modelos. Esperamos que as Ativações Delta possam facilitar a prática de reutilizar modelos publicamente disponíveis. O código está disponível em https://github.com/OscarXZQ/delta_activations.

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.