No necesitas suposiciones fuertes: Aprendizaje de Representaciones Visuales mediante Diferencias Temporales

Resumen

El progreso en inteligencia artificial ha sido impulsado en gran medida por métodos que asumen menos. A medida que aumentan la computación y los datos, los enfoques con sesgos inductivos más débiles suelen superar a aquellos con suposiciones más fuertes. Esto es particularmente característico del campo del aprendizaje de representaciones visuales, donde los enfoques han pasado de estar dominados por el aprendizaje supervisado, al aprendizaje débilmente supervisado, y ahora al éxito generalizado del aprendizaje autosupervisado sin etiquetas humanas. Sin embargo, incluso los enfoques modernos de aprendizaje autosupervisado siguen dependiendo de fuertes sesgos inductivos, como aumentos, enmascaramiento o recortes. Si esta tendencia se mantiene, incluso estos sesgos residuales deberían convertirse en cuellos de botella a escala —y nuestros experimentos lo confirman: la fuerza óptima de los sesgos inductivos disminuye a medida que crecen los datos. Esto motiva la búsqueda de enfoques que dependan de menos suposiciones. Con este fin, presentamos Diferencia Temporal en Visión (TDV), un nuevo paradigma para el aprendizaje autosupervisado a partir de video que evita los sesgos inductivos existentes, basándose en su lugar en una suposición causal de que el pasado causa el futuro. TDV funciona entrenando conjuntamente un codificador de imágenes y un codificador de movimiento, de modo que la representación del fotograma actual más el movimiento codificado sea igual a la representación del siguiente fotograma. A pesar de no aprovechar ningún sesgo inductivo fuerte, TDV iguala los métodos de última generación en tareas espaciales densas, sentando las bases para el aprendizaje de representaciones sin suposiciones fuertes.

English

Progress in AI has largely been driven by methods that assume less. As compute and data increase, approaches with weaker inductive biases generally outperform those with stronger assumptions. This is particularly characteristic of the field of Visual Representation Learning, where approaches have gone from being dominated by Supervised Learning, to Weakly Supervised Learning, to the now widespread success of Self-Supervised Learning without human labels. Yet, even modern Self-Supervised Learning approaches still depend on strong inductive biases such as augmentations, masking, or cropping. If this trend holds, even these remaining biases should become bottlenecks at scale -- and our experiments confirm this: the optimal strength of inductive biases decreases as data grows. This motivates the search for approaches that rely on fewer assumptions. To this end, we introduce Temporal Difference in Vision (TDV), a new paradigm for self-supervised learning from video that avoids existing inductive biases, relying instead on a causal assumption that the past causes the future. TDV functions by jointly training an image encoder and a motion encoder so that the current frame's representation plus the encoded motion equals the next frame's representation. Despite not leveraging any strong inductive biases, TDV matches state-of-the-art recipes on dense spatial tasks, laying the foundation for representation learning without strong assumptions.