Je hebt geen sterke aannames nodig: Visuele representatie leren via temporele verschillen

Samenvatting

Vooruitgang in AI wordt grotendeels aangedreven door methoden die minder aannemen. Naarmate rekenkracht en data toenemen, presteren benaderingen met zwakkere inductieve biases over het algemeen beter dan die met sterkere aannames. Dit is bijzonder kenmerkend voor het vakgebied van Visuele Representatie Leren, waar benaderingen zijn geëvolueerd van dominantie door Begeleid Leren, naar Zwak Begeleid Leren, naar het nu wijdverspreide succes van Zelfbegeleid Leren zonder menselijke labels. Toch zijn zelfs moderne Zelfbegeleid Leren benaderingen nog steeds afhankelijk van sterke inductieve biases zoals augmentaties, maskering of bijsnijden. Als deze trend zich voortzet, zouden zelfs deze resterende biases op schaal knelpunten worden – en onze experimenten bevestigen dit: de optimale sterkte van inductieve biases neemt af naarmate de data groeit. Dit motiveert de zoektocht naar benaderingen die op minder aannames vertrouwen. Daartoe introduceren we Temporal Difference in Vision (TDV), een nieuw paradigma voor zelfbegeleid leren uit video dat bestaande inductieve biases vermijdt, en in plaats daarvan vertrouwt op een causale veronderstelling dat het verleden de toekomst veroorzaakt. TDV werkt door gezamenlijk een beeldencoder en een bewegingsencoder te trainen, zodat de representatie van het huidige frame plus de gecodeerde beweging gelijk is aan die van het volgende frame. Ondanks dat het geen sterke inductieve biases benut, evenaart TDV state-of-the-art methoden op dichte ruimtelijke taken, waarmee de basis wordt gelegd voor representatie leren zonder sterke aannames.

English

Progress in AI has largely been driven by methods that assume less. As compute and data increase, approaches with weaker inductive biases generally outperform those with stronger assumptions. This is particularly characteristic of the field of Visual Representation Learning, where approaches have gone from being dominated by Supervised Learning, to Weakly Supervised Learning, to the now widespread success of Self-Supervised Learning without human labels. Yet, even modern Self-Supervised Learning approaches still depend on strong inductive biases such as augmentations, masking, or cropping. If this trend holds, even these remaining biases should become bottlenecks at scale -- and our experiments confirm this: the optimal strength of inductive biases decreases as data grows. This motivates the search for approaches that rely on fewer assumptions. To this end, we introduce Temporal Difference in Vision (TDV), a new paradigm for self-supervised learning from video that avoids existing inductive biases, relying instead on a causal assumption that the past causes the future. TDV functions by jointly training an image encoder and a motion encoder so that the current frame's representation plus the encoded motion equals the next frame's representation. Despite not leveraging any strong inductive biases, TDV matches state-of-the-art recipes on dense spatial tasks, laying the foundation for representation learning without strong assumptions.