FAAST: Aprendizado Associativo Apenas com Passagem Direta por meio de Pesos Rápidos de Forma Fechada para Adaptação Supervisionada em Tempo de Teste

Resumo

Adaptar modelos pré-treinados geralmente envolve um compromisso entre os altos custos de treinamento da retropropagação e a pesada sobrecarga de inferência de métodos baseados em memória ou aprendizado em contexto. Propomos o FAAST, um método de adaptação associativa apenas direto que compila analiticamente exemplos rotulados em pesos rápidos em uma única passada. Ao eliminar a dependência de memória ou contexto, o FAAST alcança inferência em tempo constante e desacopla a adaptação da tarefa da representação pré-treinada. Em benchmarks de classificação de imagens e modelagem de linguagem, o FAAST iguala ou supera a adaptação baseada em retropropagação, reduzindo o tempo de adaptação em mais de 90%, e é competitivo com a adaptação baseada em memória/contexto, economizando até 95% do uso de memória. Esses resultados demonstram que o FAAST é uma solução altamente eficiente e escalável para adaptação supervisionada de tarefas, especialmente para modelos com recursos limitados. Disponibilizamos o código e os modelos em https://github.com/baoguangsheng/faast.

English

Adapting pretrained models typically involves a trade-off between the high training costs of backpropagation and the heavy inference overhead of memory-based or in-context learning. We propose FAAST, a forward-only associative adaptation method that analytically compiles labeled examples into fast weights in a single pass. By eliminating memory or context dependence, FAAST achieves constant-time inference and decouples task adaptation from pretrained representation. Across image classification and language modeling benchmarks, FAAST matches or exceeds backprop-based adaptation while reducing adaptation time by over 90% and is competitive to memory/context-based adaptation while saving memory usage by up to 95%. These results demonstrate FAAST as a highly efficient, scalable solution for supervised task adaptation, particularly for resource-constrained models. We release the code and models at https://github.com/baoguangsheng/faast.