Sobre la escalabilidad de PEFT: Hacia un millón de modelos personales de billones de parámetros
On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
June 1, 2026
Autores: Mind Lab, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Autumn Jin, Fancy Kong, Kyrie Lei, Alexy Li, Dawn Li, Ray Li, Theo Li, Wenhao Li, Jiayi Lin, Domini Liu, Heshan Liu, Kairus Liu, Logan Liu, Maeve Luo, Runism Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Maxwell Yao, Regis Ye, Wenlin Ye, Yanying Ye, Josh Ying, Danney Zeng, Salmon Zhan, Anya Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Sizer Zhou, Xinyue Zhu, Murphy Zhuang
cs.AI
Resumen
El ajuste fino eficiente en parámetros (PEFT, por sus siglas en inglés) suele tratarse como una alternativa más económica al ajuste fino completo. En este trabajo, estudiamos un rol más amplio: pequeños adaptadores entrenables como estado local persistente sobre modelos fundacionales compartidos sólidos. Bajo este marco, el modelo base proporciona competencia compartida, mientras que los adaptadores portan comportamientos específicos de cada instancia, como preferencias, habilidades, hábitos de uso de herramientas y actualizaciones similares a la memoria. Organizamos el problema en torno a tres ejes de escalado: Escalado hacia arriba (Scale Up), donde prioridades compartidas más fuertes hacen que las actualizaciones locales pequeñas sean más útiles; Escalado hacia abajo (Scale Down), donde estudiamos cuán pequeños pueden ser los adaptadores manteniendo su fiabilidad; y Escalado hacia afuera (Scale Out), donde muchas instancias adaptadas persistentes coexisten. MinT proporciona un ejemplo de infraestructura para gestionar la identidad, revisión, procedencia, evaluación y residencia de servicio de los adaptadores. En conjunto, los resultados sugieren que PEFT puede ser un sustrato compacto para modelos personales persistentes, en lugar de ser solo un sustituto económico del ajuste fino completo.
English
Parameter-efficient fine-tuning (PEFT) is usually treated as a cheaper alternative to full fine-tuning. We study a broader role: small trainable adapters as persistent local state on top of strong shared foundation models. In this framing, the base model provides shared competence while adapters carry instance-specific behavior such as preferences, skills, tool habits, and memory-like updates. We organize the problem around three scaling axes: Scale Up, where stronger shared priors make small local updates more useful; Scale Down, where we study how small adapters can be while remaining reliable; and Scale Out, where many persistent adapted instances coexist. MinT provides one infrastructure example for managing adapter identity, revision, provenance, evaluation, and serving residency. Together, the results suggest that PEFT can be a compact substrate for persistent personal models rather than only a budget substitute for full fine-tuning.