Schaalbare Pre-training van Grote Autoregressieve Beeldmodellen
Scalable Pre-training of Large Autoregressive Image Models
January 16, 2024
Auteurs: Alaaeldin El-Nouby, Michal Klein, Shuangfei Zhai, Miguel Angel Bautista, Alexander Toshev, Vaishaal Shankar, Joshua M Susskind, Armand Joulin
cs.AI
Samenvatting
Dit artikel introduceert AIM, een verzameling van vision-modellen die vooraf zijn getraind met een autoregressief doel. Deze modellen zijn geïnspireerd door hun tekstuele tegenhangers, zoals Large Language Models (LLM's), en vertonen vergelijkbare schaaleigenschappen. Specifiek belichten we twee belangrijke bevindingen: (1) de prestaties van de visuele kenmerken schalen zowel met de modelcapaciteit als met de hoeveelheid data, (2) de waarde van de doelfunctie correleert met de prestaties van het model op downstream taken. We illustreren de praktische implicatie van deze bevindingen door een AIM-model met 7 miljard parameters voor te trainen op 2 miljard afbeeldingen, dat 84,0% behaalt op ImageNet-1k met een bevroren trunk. Interessant is dat we zelfs op deze schaal geen teken van verzadiging in prestaties waarnemen, wat suggereert dat AIM mogelijk een nieuwe grens vertegenwoordigt voor het trainen van grootschalige vision-modellen. Het vooraf trainen van AIM is vergelijkbaar met het vooraf trainen van LLM's en vereist geen afbeeldingsspecifieke strategie om de training op grote schaal te stabiliseren.
English
This paper introduces AIM, a collection of vision models pre-trained with an
autoregressive objective. These models are inspired by their textual
counterparts, i.e., Large Language Models (LLMs), and exhibit similar scaling
properties. Specifically, we highlight two key findings: (1) the performance of
the visual features scale with both the model capacity and the quantity of
data, (2) the value of the objective function correlates with the performance
of the model on downstream tasks. We illustrate the practical implication of
these findings by pre-training a 7 billion parameter AIM on 2 billion images,
that achieves 84.0% on ImageNet-1k with a frozen trunk. Interestingly, even at
this scale, we observe no sign of saturation in performance, suggesting that
AIM potentially represents a new frontier for training large-scale vision
models. The pre-training of AIM is similar to the pre-training of LLMs, and
does not require any image-specific strategy to stabilize the training at
scale.