Apprentissage par méta-contexte
Context-Aware Meta-Learning
October 17, 2023
Auteurs: Christopher Fifty, Dennis Duan, Ronald G. Junkins, Ehsan Amid, Jure Leskovec, Christopher Ré, Sebastian Thrun
cs.AI
Résumé
Les grands modèles de langage comme ChatGPT démontrent une capacité remarquable à apprendre de nouveaux concepts lors de l'inférence sans aucun ajustement fin. Cependant, les modèles visuels entraînés à détecter de nouveaux objets pendant l'inférence n'ont pas pu reproduire cette capacité, et soit performent mal, soit nécessitent un méta-apprentissage et/ou un ajustement fin sur des objets similaires. Dans ce travail, nous proposons un algorithme de méta-apprentissage qui imite les grands modèles de langage en apprenant de nouveaux concepts visuels pendant l'inférence sans ajustement fin. Notre approche exploite un extracteur de caractéristiques pré-entraîné et figé, et, de manière analogue à l'apprentissage en contexte, reformule le méta-apprentissage comme une modélisation de séquence sur des points de données avec des étiquettes connues et un point de test avec une étiquette inconnue. Sur 8 des 11 benchmarks de méta-apprentissage, notre approche — sans méta-apprentissage ni ajustement fin — dépasse ou égale l'algorithme de pointe, P>M>F, qui est méta-entraîné sur ces benchmarks.
English
Large Language Models like ChatGPT demonstrate a remarkable capacity to learn
new concepts during inference without any fine-tuning. However, visual models
trained to detect new objects during inference have been unable to replicate
this ability, and instead either perform poorly or require meta-training and/or
fine-tuning on similar objects. In this work, we propose a meta-learning
algorithm that emulates Large Language Models by learning new visual concepts
during inference without fine-tuning. Our approach leverages a frozen
pre-trained feature extractor, and analogous to in-context learning, recasts
meta-learning as sequence modeling over datapoints with known labels and a test
datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our
approach -- without meta-training or fine-tuning -- exceeds or matches the
state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.