TiC-CLIP: CLIP 모델의 지속적 학습

초록

대규모 파운데이션 모델을 최신 데이터로 유지하는 것은 본질적으로 비용이 많이 듭니다. 지속적인 재훈련의 과도한 비용을 피하기 위해, 이러한 모델을 지속적으로 훈련하는 것이 필수적입니다. 이 문제는 대규모 지속 학습 벤치마크나 기준선이 부족함으로 인해 더욱 악화됩니다. 우리는 비전-언어 모델 훈련을 위한 첫 번째 웹 스케일 시간-지속적(TiC) 벤치마크인 TiC-DataCompt, TiC-YFCC, TiC-RedCaps를 소개합니다. 이 벤치마크는 9년간(2014-2022)에 걸친 127억 개의 타임스탬프가 찍힌 이미지-텍스트 쌍을 포함합니다. 우리는 먼저 이 벤치마크를 사용하여 기존 모델의 시간적 견고성을 측정하기 위한 다양한 동적 평가를 구성했습니다. OpenAI의 CLIP(2020년까지의 데이터로 훈련됨)이 OpenCLIP 저장소의 최근에 훈련된 모델에 비해 2021-2022년의 우리가 구성한 검색 작업에서 약 8%의 제로샷 정확도를 잃는 것을 보여줍니다. 그런 다음 시간-연속 데이터에서 모델을 효율적으로 훈련하는 방법을 연구합니다. 우리는 마지막 체크포인트에서 훈련을 계속하고 이전 데이터를 재생하는 간단한 리허설 기반 접근법이 처음부터 재훈련하는 표준 관행에 비해 계산 비용을 2.5배 줄이는 것을 입증합니다.

English

Keeping large foundation models up to date on latest data is inherently expensive. To avoid the prohibitive costs of constantly retraining, it is imperative to continually train these models. This problem is exacerbated by the lack of any large scale continual learning benchmarks or baselines. We introduce the first set of web-scale Time-Continual (TiC) benchmarks for training vision-language models: TiC-DataCompt, TiC-YFCC, and TiC-RedCaps with over 12.7B timestamped image-text pairs spanning 9 years (2014--2022). We first use our benchmarks to curate various dynamic evaluations to measure temporal robustness of existing models. We show OpenAI's CLIP (trained on data up to 2020) loses approx 8% zero-shot accuracy on our curated retrieval task from 2021--2022 compared with more recently trained models in OpenCLIP repository. We then study how to efficiently train models on time-continuous data. We demonstrate that a simple rehearsal-based approach that continues training from the last checkpoint and replays old data reduces compute by 2.5times when compared to the standard practice of retraining from scratch.

TiC-CLIP: CLIP 모델의 지속적 학습

TiC-CLIP: Continual Training of CLIP Models

초록

Support