저장 제약 없는 온라인 지속 학습

Online Continual Learning Without the Storage Constraint

May 16, 2023

저자: Ameya Prabhu, Zhipeng Cai, Puneet Dokania, Philip Torr, Vladlen Koltun, Ozan Sener

cs.AI

초록

온라인 지속 학습(OCL) 연구는 주로 에이전트의 수명 동안 고정적이고 제한된 저장 공간 할당을 통해 치명적 망각(catastrophic forgetting)을 완화하는 데 초점을 맞추어 왔습니다. 그러나 데이터 저장 비용이 점차 저렴해짐에 따라 이러한 가정을 따르지 않는 다양한 응용 분야가 부각되고 있습니다. 이러한 경우, 주요 관심사는 저장 공간보다는 계산 비용을 관리하는 데 있습니다. 본 논문에서는 이러한 설정을 대상으로, 저장 제약을 완화하고 고정적이며 제한된 경제적 예산을 강조하여 온라인 지속 학습 문제를 탐구합니다. 우리는 kNN 분류기와 범용 사전 훈련된 특징 추출기를 사용하여 작은 계산 예산 하에서도 들어오는 데이터 스트림 전체를 간결하게 저장하고 활용할 수 있는 간단한 알고리즘을 제안합니다. 우리의 알고리즘은 지속 학습에 매력적인 일관성 속성을 제공합니다: 과거에 본 데이터를 절대 잊지 않습니다. 우리는 두 가지 대규모 OCL 데이터셋에서 새로운 최첨단 기술을 설정했습니다: 712개 클래스에 걸쳐 39M개의 이미지를 포함하는 Continual LOCalization(CLOC)과 10,788개 클래스에 걸쳐 580K개의 이미지를 포함하는 Continual Google Landmarks V2(CGLM)입니다. 우리의 알고리즘은 훨씬 더 높은 계산 예산을 사용하는 방법들보다 과거 데이터의 치명적 망각을 줄이고 빠르게 변화하는 데이터 스트림에 신속하게 적응하는 면에서 우수한 성능을 보였습니다. 우리는 결과를 재현할 수 있는 코드를 https://github.com/drimpossible/ACM에서 제공합니다.

English

Online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout the agent's lifetime. However, the growing affordability of data storage highlights a broad range of applications that do not adhere to these assumptions. In these cases, the primary concern lies in managing computational expenditures rather than storage. In this paper, we target such settings, investigating the online continual learning problem by relaxing storage constraints and emphasizing fixed, limited economical budget. We provide a simple algorithm that can compactly store and utilize the entirety of the incoming data stream under tiny computational budgets using a kNN classifier and universal pre-trained feature extractors. Our algorithm provides a consistency property attractive to continual learning: It will never forget past seen data. We set a new state of the art on two large-scale OCL datasets: Continual LOCalization (CLOC), which has 39M images over 712 classes, and Continual Google Landmarks V2 (CGLM), which has 580K images over 10,788 classes -- beating methods under far higher computational budgets than ours in terms of both reducing catastrophic forgetting of past data and quickly adapting to rapidly changing data streams. We provide code to reproduce our results at https://github.com/drimpossible/ACM.