Контекстно-зависимое метаобучение

Context-Aware Meta-Learning

October 17, 2023

Авторы: Christopher Fifty, Dennis Duan, Ronald G. Junkins, Ehsan Amid, Jure Leskovec, Christopher Ré, Sebastian Thrun

cs.AI

Аннотация

Крупные языковые модели, такие как ChatGPT, демонстрируют впечатляющую способность изучать новые концепции в процессе вывода без необходимости тонкой настройки. Однако визуальные модели, обученные обнаруживать новые объекты в процессе вывода, не смогли воспроизвести эту способность и либо показывают низкую производительность, либо требуют метаобучения и/или тонкой настройки на схожих объектах. В данной работе мы предлагаем метаалгоритм обучения, который имитирует крупные языковые модели, изучая новые визуальные концепции в процессе вывода без тонкой настройки. Наш подход использует замороженный предварительно обученный экстрактор признаков и, аналогично обучению в контексте, переосмысливает метаобучение как моделирование последовательности по точкам данных с известными метками и тестовой точке данных с неизвестной меткой. На 8 из 11 бенчмарков метаобучения наш подход — без метаобучения или тонкой настройки — превосходит или соответствует современному алгоритму P>M>F, который проходит метаобучение на этих бенчмарках.

English

Large Language Models like ChatGPT demonstrate a remarkable capacity to learn new concepts during inference without any fine-tuning. However, visual models trained to detect new objects during inference have been unable to replicate this ability, and instead either perform poorly or require meta-training and/or fine-tuning on similar objects. In this work, we propose a meta-learning algorithm that emulates Large Language Models by learning new visual concepts during inference without fine-tuning. Our approach leverages a frozen pre-trained feature extractor, and analogous to in-context learning, recasts meta-learning as sequence modeling over datapoints with known labels and a test datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our approach -- without meta-training or fine-tuning -- exceeds or matches the state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.