FAAST : Apprentissage associatif unidirectionnel via des poids rapides en forme fermée pour l'adaptation supervisée au moment du test

Résumé

L'adaptation des modèles pré-entraînés implique généralement un compromis entre le coût élevé d'apprentissage de la rétropropagation et la lourde surcharge d'inférence des méthodes d'apprentissage basées sur la mémoire ou en contexte. Nous proposons FAAST, une méthode d'adaptation associative uniquement forward qui compile de manière analytique les exemples étiquetés en poids rapides en un seul passage. En éliminant la dépendance à la mémoire ou au contexte, FAAST assure une inférence en temps constant et dissocie l'adaptation de la tâche de la représentation pré-entraînée. Sur des bancs d'essai de classification d'images et de modélisation du langage, FAAST égale ou dépasse l'adaptation par rétropropagation tout en réduisant le temps d'adaptation de plus de 90 %, et se montre compétitive par rapport à l'adaptation basée sur la mémoire ou le contexte tout en économisant jusqu'à 95 % de l'utilisation mémoire. Ces résultats démontrent que FAAST est une solution hautement efficace et scalable pour l'adaptation supervisée à une tâche, en particulier pour les modèles à ressources limitées. Nous publions le code et les modèles à l'adresse https://github.com/baoguangsheng/faast.

English

Adapting pretrained models typically involves a trade-off between the high training costs of backpropagation and the heavy inference overhead of memory-based or in-context learning. We propose FAAST, a forward-only associative adaptation method that analytically compiles labeled examples into fast weights in a single pass. By eliminating memory or context dependence, FAAST achieves constant-time inference and decouples task adaptation from pretrained representation. Across image classification and language modeling benchmarks, FAAST matches or exceeds backprop-based adaptation while reducing adaptation time by over 90% and is competitive to memory/context-based adaptation while saving memory usage by up to 95%. These results demonstrate FAAST as a highly efficient, scalable solution for supervised task adaptation, particularly for resource-constrained models. We release the code and models at https://github.com/baoguangsheng/faast.