Man braucht keine starken Annahmen: Visuelles Repräsentationslernen mittels zeitlicher Differenzen

Zusammenfassung

Fortschritte in der KI wurden größtenteils durch Methoden vorangetrieben, die weniger Annahmen treffen. Mit zunehmender Rechenleistung und Datenmenge übertreffen Ansätze mit schwächeren induktiven Biases im Allgemeinen solche mit stärkeren Annahmen. Dies ist besonders charakteristisch für das Gebiet des visuellen Repräsentationslernens, wo Ansätze von der Dominanz des überwachten Lernens über das schwach überwachte Lernen bis hin zum heutigen weit verbreiteten Erfolg des selbstüberwachten Lernens ohne menschliche Labels übergegangen sind. Dennoch sind selbst moderne Ansätze des selbstüberwachten Lernens noch auf starke induktive Biases angewiesen, wie Augmentierungen, Maskierung oder Zuschneiden. Wenn dieser Trend anhält, sollten selbst diese verbleibenden Biases im großen Maßstab zu Engpässen werden – und unsere Experimente bestätigen dies: Die optimale Stärke der induktiven Biases nimmt mit wachsenden Datenmengen ab. Dies motiviert die Suche nach Ansätzen, die auf weniger Annahmen beruhen. Zu diesem Zweck führen wir Temporal Difference in Vision (TDV) ein, ein neues Paradigma für selbstüberwachtes Lernen aus Videos, das bestehende induktive Biases vermeidet und stattdessen auf einer kausalen Annahme beruht, dass die Vergangenheit die Zukunft verursacht. TDV funktioniert durch gemeinsames Training eines Bild-Encoders und eines Bewegungs-Encoders, sodass die Repräsentation des aktuellen Bildes plus die kodierte Bewegung der Repräsentation des nächsten Bildes entspricht. Obwohl TDV keine starken induktiven Biases nutzt, erreicht es auf dichten räumlichen Aufgaben das Niveau von State-of-the-Art-Verfahren und legt damit den Grundstein für Repräsentationslernen ohne starke Annahmen.

English

Progress in AI has largely been driven by methods that assume less. As compute and data increase, approaches with weaker inductive biases generally outperform those with stronger assumptions. This is particularly characteristic of the field of Visual Representation Learning, where approaches have gone from being dominated by Supervised Learning, to Weakly Supervised Learning, to the now widespread success of Self-Supervised Learning without human labels. Yet, even modern Self-Supervised Learning approaches still depend on strong inductive biases such as augmentations, masking, or cropping. If this trend holds, even these remaining biases should become bottlenecks at scale -- and our experiments confirm this: the optimal strength of inductive biases decreases as data grows. This motivates the search for approaches that rely on fewer assumptions. To this end, we introduce Temporal Difference in Vision (TDV), a new paradigm for self-supervised learning from video that avoids existing inductive biases, relying instead on a causal assumption that the past causes the future. TDV functions by jointly training an image encoder and a motion encoder so that the current frame's representation plus the encoded motion equals the next frame's representation. Despite not leveraging any strong inductive biases, TDV matches state-of-the-art recipes on dense spatial tasks, laying the foundation for representation learning without strong assumptions.