Kontextbewusstes Meta-Lernen

Context-Aware Meta-Learning

October 17, 2023

Autoren: Christopher Fifty, Dennis Duan, Ronald G. Junkins, Ehsan Amid, Jure Leskovec, Christopher Ré, Sebastian Thrun

cs.AI

Zusammenfassung

Große Sprachmodelle wie ChatGPT zeigen eine bemerkenswerte Fähigkeit, neue Konzepte während der Inferenz zu erlernen, ohne dass eine Feinabstimmung erforderlich ist. Visuelle Modelle, die darauf trainiert sind, neue Objekte während der Inferenz zu erkennen, konnten diese Fähigkeit jedoch nicht replizieren und schneiden entweder schlecht ab oder benötigen Meta-Training und/oder Feinabstimmung auf ähnliche Objekte. In dieser Arbeit schlagen wir einen Meta-Lernalgorithmus vor, der große Sprachmodelle nachahmt, indem er neue visuelle Konzepte während der Inferenz ohne Feinabstimmung erlernt. Unser Ansatz nutzt einen eingefrorenen, vortrainierten Merkmalsextraktor und formuliert, analog zum In-Context-Lernen, Meta-Lernen als Sequenzmodellierung über Datenpunkte mit bekannten Labels und einen Testdatenpunkt mit unbekanntem Label. Bei 8 von 11 Meta-Lern-Benchmarks übertrifft oder erreicht unser Ansatz – ohne Meta-Training oder Feinabstimmung – den state-of-the-art Algorithmus P>M>F, der auf diesen Benchmarks meta-trainiert wurde.

English

Large Language Models like ChatGPT demonstrate a remarkable capacity to learn new concepts during inference without any fine-tuning. However, visual models trained to detect new objects during inference have been unable to replicate this ability, and instead either perform poorly or require meta-training and/or fine-tuning on similar objects. In this work, we propose a meta-learning algorithm that emulates Large Language Models by learning new visual concepts during inference without fine-tuning. Our approach leverages a frozen pre-trained feature extractor, and analogous to in-context learning, recasts meta-learning as sequence modeling over datapoints with known labels and a test datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our approach -- without meta-training or fine-tuning -- exceeds or matches the state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.