Sur la mise à l'échelle du PEFT : vers un million de modèles personnels à des milliards de paramètres
On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
June 1, 2026
Auteurs: Mind Lab, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Autumn Jin, Fancy Kong, Kyrie Lei, Alexy Li, Dawn Li, Ray Li, Theo Li, Wenhao Li, Jiayi Lin, Domini Liu, Heshan Liu, Kairus Liu, Logan Liu, Maeve Luo, Runism Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Maxwell Yao, Regis Ye, Wenlin Ye, Yanying Ye, Josh Ying, Danney Zeng, Salmon Zhan, Anya Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Sizer Zhou, Xinyue Zhu, Murphy Zhuang
cs.AI
Résumé
Le réglage fin efficace en paramètres (PEFT) est généralement considéré comme une alternative moins coûteuse au réglage fin complet. Nous étudions un rôle plus large : de petits adaptateurs entraînables comme état local persistant reposant sur des modèles de base partagés performants. Dans ce cadre, le modèle de base fournit une compétence partagée tandis que les adaptateurs portent des comportements spécifiques à l'instance, tels que préférences, compétences, habitudes d'outils et mises à jour de type mémoire. Nous organisons le problème autour de trois axes de passage à l'échelle : *Scale Up*, où des a priori partagés plus forts rendent les petites mises à jour locales plus utiles ; *Scale Down*, où nous étudions la taille minimale que peuvent avoir les adaptateurs tout en restant fiables ; et *Scale Out*, où de nombreuses instances adaptées persistantes coexistent. MinT fournit un exemple d'infrastructure pour gérer l'identité, la révision, la provenance, l'évaluation et la résidence de service des adaptateurs. Ensemble, les résultats suggèrent que le PEFT peut constituer un substrat compact pour des modèles personnels persistants, plutôt qu'un simple substitut économique au réglage fin complet.
English
Parameter-efficient fine-tuning (PEFT) is usually treated as a cheaper alternative to full fine-tuning. We study a broader role: small trainable adapters as persistent local state on top of strong shared foundation models. In this framing, the base model provides shared competence while adapters carry instance-specific behavior such as preferences, skills, tool habits, and memory-like updates. We organize the problem around three scaling axes: Scale Up, where stronger shared priors make small local updates more useful; Scale Down, where we study how small adapters can be while remaining reliable; and Scale Out, where many persistent adapted instances coexist. MinT provides one infrastructure example for managing adapter identity, revision, provenance, evaluation, and serving residency. Together, the results suggest that PEFT can be a compact substrate for persistent personal models rather than only a budget substitute for full fine-tuning.