컨텍스트 인식 메타러닝

초록

ChatGPT와 같은 대형 언어 모델(Large Language Models)은 미세 조정 없이도 추론 과정에서 새로운 개념을 학습하는 놀라운 능력을 보여줍니다. 그러나 추론 중에 새로운 객체를 탐지하도록 훈련된 시각 모델들은 이러한 능력을 재현하지 못하고, 대신 성능이 저하되거나 유사한 객체에 대한 메타 학습 및/또는 미세 조정이 필요합니다. 본 연구에서는 미세 조정 없이 추론 과정에서 새로운 시각 개념을 학습함으로써 대형 언어 모델을 모방하는 메타 학습 알고리즘을 제안합니다. 우리의 접근 방식은 고정된 사전 훈련된 특징 추출기를 활용하며, 문맥 내 학습(in-context learning)과 유사하게, 알려진 레이블이 있는 데이터 포인트와 알려지지 않은 레이블이 있는 테스트 데이터 포인트에 대한 시퀀스 모델링으로 메타 학습을 재구성합니다. 11개의 메타 학습 벤치마크 중 8개에서, 우리의 접근 방식은 메타 학습이나 미세 조정 없이도 이러한 벤치마크에서 메타 학습된 최신 알고리즘인 P>M>F를 능가하거나 동등한 성능을 보였습니다.

English

Large Language Models like ChatGPT demonstrate a remarkable capacity to learn new concepts during inference without any fine-tuning. However, visual models trained to detect new objects during inference have been unable to replicate this ability, and instead either perform poorly or require meta-training and/or fine-tuning on similar objects. In this work, we propose a meta-learning algorithm that emulates Large Language Models by learning new visual concepts during inference without fine-tuning. Our approach leverages a frozen pre-trained feature extractor, and analogous to in-context learning, recasts meta-learning as sequence modeling over datapoints with known labels and a test datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our approach -- without meta-training or fine-tuning -- exceeds or matches the state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.

컨텍스트 인식 메타러닝

Context-Aware Meta-Learning

초록

Support