Contextbewust Meta-Leren

Samenvatting

Grote Taalmodellen zoals ChatGPT tonen een opmerkelijke capaciteit om nieuwe concepten te leren tijdens inferentie zonder enige fine-tuning. Visuele modellen die zijn getraind om nieuwe objecten te detecteren tijdens inferentie, zijn echter niet in staat gebleken om dit vermogen na te bootsen, en presteren ofwel slecht of vereisen meta-training en/of fine-tuning op vergelijkbare objecten. In dit werk stellen we een meta-leeralgoritme voor dat Grote Taalmodellen nabootst door nieuwe visuele concepten te leren tijdens inferentie zonder fine-tuning. Onze aanpak maakt gebruik van een bevroren, vooraf getrainde feature extractor, en analoog aan in-context learning, herformuleert het meta-leren als sequentiemodellering over datapunten met bekende labels en een testdatapunt met een onbekend label. Op 8 van de 11 meta-learning benchmarks overtreft of evenaart onze aanpak — zonder meta-training of fine-tuning — het state-of-the-art algoritme, P>M>F, dat op deze benchmarks is getraind.

English

Large Language Models like ChatGPT demonstrate a remarkable capacity to learn new concepts during inference without any fine-tuning. However, visual models trained to detect new objects during inference have been unable to replicate this ability, and instead either perform poorly or require meta-training and/or fine-tuning on similar objects. In this work, we propose a meta-learning algorithm that emulates Large Language Models by learning new visual concepts during inference without fine-tuning. Our approach leverages a frozen pre-trained feature extractor, and analogous to in-context learning, recasts meta-learning as sequence modeling over datapoints with known labels and a test datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our approach -- without meta-training or fine-tuning -- exceeds or matches the state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.

Contextbewust Meta-Leren

Context-Aware Meta-Learning

Samenvatting

Support