デルタ活性化：ファインチューニングされた大規模言語モデルの表現

要旨

強力なオープンソース大規模言語モデル（LLM）の成功により、特定のタスクやドメインに適応させた微調整済みモデルの膨大なコレクションがコミュニティによって作成されるようになりました。しかし、これらのモデルをナビゲートし理解することは、一貫性のないメタデータや非構造化されたリポジトリのため、依然として困難です。本論文では、ベースモデルに対する内部活性化の変化を測定することで、微調整済みモデルをベクトル埋め込みとして表現する「Delta Activations」という手法を紹介します。この表現により、ドメインやタスクごとの効果的なクラスタリングが可能となり、モデルのランドスケープにおける構造が明らかになります。Delta Activationsはまた、望ましい特性を示します：微調整設定にわたって頑健であり、微調整データセットが混合された場合に加法的な性質を示します。さらに、Delta Activationsが少数ショットの微調整を通じてタスクを埋め込むことができることを示し、モデル選択やマージへの活用についても探求します。Delta Activationsが公開されているモデルの再利用を促進することを期待しています。コードはhttps://github.com/OscarXZQ/delta_activationsで公開されています。

English

The success of powerful open source Large Language Models (LLMs) has enabled the community to create a vast collection of post-trained models adapted to specific tasks and domains. However, navigating and understanding these models remains challenging due to inconsistent metadata and unstructured repositories. We introduce Delta Activations, a method to represent finetuned models as vector embeddings by measuring shifts in their internal activations relative to a base model. This representation allows for effective clustering by domain and task, revealing structure in the model landscape. Delta Activations also demonstrate desirable properties: it is robust across finetuning settings and exhibits an additive property when finetuning datasets are mixed. In addition, we show that Delta Activations can embed tasks via few-shot finetuning, and further explore its use for model selection and merging. We hope Delta Activations can facilitate the practice of reusing publicly available models. Code is available at https://github.com/OscarXZQ/delta_activations.

デルタ活性化：ファインチューニングされた大規模言語モデルの表現

Delta Activations: A Representation for Finetuned Large Language Models

要旨

Support