Meta-Aprendizado Consciente do Contexto

Context-Aware Meta-Learning

October 17, 2023

Autores: Christopher Fifty, Dennis Duan, Ronald G. Junkins, Ehsan Amid, Jure Leskovec, Christopher Ré, Sebastian Thrun

cs.AI

Resumo

Modelos de Linguagem de Grande Escala, como o ChatGPT, demonstram uma capacidade notável de aprender novos conceitos durante a inferência sem qualquer ajuste fino. No entanto, modelos visuais treinados para detectar novos objetos durante a inferência não conseguiram replicar essa habilidade, e em vez disso, ou têm um desempenho ruim ou exigem meta-treinamento e/ou ajuste fino em objetos semelhantes. Neste trabalho, propomos um algoritmo de meta-aprendizado que emula Modelos de Linguagem de Grande Escala ao aprender novos conceitos visuais durante a inferência sem ajuste fino. Nossa abordagem utiliza um extrator de características pré-treinado e congelado e, de forma análoga ao aprendizado em contexto, reformula o meta-aprendizado como modelagem de sequência sobre pontos de dados com rótulos conhecidos e um ponto de teste com um rótulo desconhecido. Em 8 de 11 benchmarks de meta-aprendizado, nossa abordagem -- sem meta-treinamento ou ajuste fino -- supera ou iguala o algoritmo estado da arte, P>M>F, que é meta-treinado nesses benchmarks.

English

Large Language Models like ChatGPT demonstrate a remarkable capacity to learn new concepts during inference without any fine-tuning. However, visual models trained to detect new objects during inference have been unable to replicate this ability, and instead either perform poorly or require meta-training and/or fine-tuning on similar objects. In this work, we propose a meta-learning algorithm that emulates Large Language Models by learning new visual concepts during inference without fine-tuning. Our approach leverages a frozen pre-trained feature extractor, and analogous to in-context learning, recasts meta-learning as sequence modeling over datapoints with known labels and a test datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our approach -- without meta-training or fine-tuning -- exceeds or matches the state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.