PEFTのスケーリングについて：1兆パラメータの100万のパーソナルモデルに向けて

要旨

パラメータ効率的ファインチューニング（PEFT）は通常、フルファインチューニングのより安価な代替手段として扱われています。本稿では、より広範な役割として、強力な共有基盤モデルの上に持続的なローカル状態として機能する小さな学習可能なアダプタについて研究します。この枠組みでは、ベースモデルが共有能力を提供し、アダプタは好み、スキル、ツールの習慣、メモリのような更新などのインスタンス固有の動作を担います。この問題を3つのスケーリング軸に沿って整理します。スケールアップ：より強力な共有事前分布により、小さなローカル更新がより有用になる。スケールダウン：アダプタが信頼性を保ちながらどれだけ小さくできるかを研究する。スケールアウト：多数の持続的な適応インスタンスが共存する。MinTは、アダプタのアイデンティティ、リビジョン、来歴、評価、サービングの所在を管理するためのインフラストラクチャの一例を提供します。これらの結果は、PEFTがフルファインチューニングの単なる予算代替ではなく、持続的なパーソナルモデルのためのコンパクトな基盤となり得ることを示唆しています。

English

Parameter-efficient fine-tuning (PEFT) is usually treated as a cheaper alternative to full fine-tuning. We study a broader role: small trainable adapters as persistent local state on top of strong shared foundation models. In this framing, the base model provides shared competence while adapters carry instance-specific behavior such as preferences, skills, tool habits, and memory-like updates. We organize the problem around three scaling axes: Scale Up, where stronger shared priors make small local updates more useful; Scale Down, where we study how small adapters can be while remaining reliable; and Scale Out, where many persistent adapted instances coexist. MinT provides one infrastructure example for managing adapter identity, revision, provenance, evaluation, and serving residency. Together, the results suggest that PEFT can be a compact substrate for persistent personal models rather than only a budget substitute for full fine-tuning.