FAAST: Alleen-Voorwaarts Associatief Leren via Gesloten-Vorm Snelle Gewichten voor Testtijd-Gesuperviseerde Adaptatie

Samenvatting

Het aanpassen van voorgetrainde modellen brengt doorgaans een afweging met zich mee tussen de hoge trainingskosten van backpropagatie en de zware inferentie-overhead van geheugengebaseerd of in-context leren. Wij stellen FAAST voor, een uitsluitend voorwaartse associatieve aanpassingsmethode die in één enkele doorgang gelabelde voorbeelden analytisch compileert tot snelle gewichten. Door geheugen- of contextafhankelijkheid te elimineren, bereikt FAAST inferentie in constante tijd en ontkoppelt het taakaanpassing van de voorgetrainde representatie. Op benchmarks voor beeldclassificatie en taalmodellering evenaart of overtreft FAAST op backprop gebaseerde aanpassing, terwijl de aanpassingstijd met meer dan 90% wordt verminderd, en is het concurrerend met geheugen-/contextgebaseerde aanpassing, terwijl het geheugengebruik tot 95% bespaart. Deze resultaten tonen aan dat FAAST een zeer efficiënte, schaalbare oplossing is voor begeleide taakaanpassing, met name voor resource-beperkte modellen. We publiceren de code en modellen op https://github.com/baoguangsheng/faast.

English

Adapting pretrained models typically involves a trade-off between the high training costs of backpropagation and the heavy inference overhead of memory-based or in-context learning. We propose FAAST, a forward-only associative adaptation method that analytically compiles labeled examples into fast weights in a single pass. By eliminating memory or context dependence, FAAST achieves constant-time inference and decouples task adaptation from pretrained representation. Across image classification and language modeling benchmarks, FAAST matches or exceeds backprop-based adaptation while reducing adaptation time by over 90% and is competitive to memory/context-based adaptation while saving memory usage by up to 95%. These results demonstrate FAAST as a highly efficient, scalable solution for supervised task adaptation, particularly for resource-constrained models. We release the code and models at https://github.com/baoguangsheng/faast.