ストレージ制約のないオンライン継続学習

Online Continual Learning Without the Storage Constraint

May 16, 2023

著者: Ameya Prabhu, Zhipeng Cai, Puneet Dokania, Philip Torr, Vladlen Koltun, Ozan Sener

cs.AI

要旨

オンライン継続学習（OCL）の研究は、主にエージェントの生涯を通じて固定された限られたストレージ割り当ての中で、破滅的な忘却を緩和することに焦点を当ててきました。しかし、データストレージのコストが低下するにつれ、これらの前提に従わない幅広いアプリケーションが注目されています。これらのケースでは、主な懸念はストレージではなく、計算コストの管理にあります。本論文では、このような設定を対象とし、ストレージ制約を緩和し、固定された限られた経済的予算を重視することで、オンライン継続学習問題を調査します。我々は、kNN分類器と汎用の事前学習済み特徴抽出器を使用して、小さな計算予算の下で受信データストリーム全体をコンパクトに保存し活用するシンプルなアルゴリズムを提供します。このアルゴリズムは、継続学習にとって魅力的な一貫性の特性を提供します：過去に見たデータを決して忘れません。我々は、2つの大規模なOCLデータセットにおいて新たな最先端を設定しました：712クラスにわたる39Mの画像を持つContinual LOCalization（CLOC）と、10,788クラスにわたる580Kの画像を持つContinual Google Landmarks V2（CGLM）です。我々の手法は、はるかに高い計算予算を持つ手法を上回り、過去データの破滅的忘却を減らし、急速に変化するデータストリームに迅速に適応する点で優れています。我々は、結果を再現するためのコードをhttps://github.com/drimpossible/ACMで提供しています。

English

Online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout the agent's lifetime. However, the growing affordability of data storage highlights a broad range of applications that do not adhere to these assumptions. In these cases, the primary concern lies in managing computational expenditures rather than storage. In this paper, we target such settings, investigating the online continual learning problem by relaxing storage constraints and emphasizing fixed, limited economical budget. We provide a simple algorithm that can compactly store and utilize the entirety of the incoming data stream under tiny computational budgets using a kNN classifier and universal pre-trained feature extractors. Our algorithm provides a consistency property attractive to continual learning: It will never forget past seen data. We set a new state of the art on two large-scale OCL datasets: Continual LOCalization (CLOC), which has 39M images over 712 classes, and Continual Google Landmarks V2 (CGLM), which has 580K images over 10,788 classes -- beating methods under far higher computational budgets than ours in terms of both reducing catastrophic forgetting of past data and quickly adapting to rapidly changing data streams. We provide code to reproduce our results at https://github.com/drimpossible/ACM.