Вам не нужны сильные предположения: обучение визуальных представлений с использованием временных разностей

Аннотация

Прогресс в области искусственного интеллекта в значительной степени был обусловлен методами, которые предполагают меньшее. По мере увеличения вычислительных мощностей и объемов данных подходы с более слабыми индуктивными смещениями, как правило, превосходят те, что основаны на более сильных предположениях. Это особенно характерно для области визуального представления обучения, где подходы прошли путь от доминирования обучения с учителем к слабо контролируемому обучению и, наконец, к ныне широко распространенному успеху самообучения без человеческих меток. Тем не менее, даже современные подходы к самообучению по-прежнему зависят от сильных индуктивных смещений, таких как аугментации, маскирование или кадрирование. Если эта тенденция сохранится, даже эти оставшиеся смещения станут узким местом при масштабировании — и наши эксперименты подтверждают это: оптимальная сила индуктивных смещений уменьшается по мере роста объема данных. Это мотивирует поиск подходов, которые опираются на меньшее количество предположений. С этой целью мы представляем метод временной разницы в зрении (TDV) — новую парадигму самообучения на основе видео, которая избегает существующих индуктивных смещений, полагаясь вместо этого на каузальное предположение о том, что прошлое служит причиной будущего. TDV работает путем совместного обучения кодировщика изображений и кодировщика движения таким образом, чтобы представление текущего кадра плюс закодированное движение равнялось представлению следующего кадра. Несмотря на отсутствие использования каких-либо сильных индуктивных смещений, TDV достигает уровня современных методик на задачах плотной пространственной обработки, закладывая основу для обучения представлений без сильных предположений.

English

Progress in AI has largely been driven by methods that assume less. As compute and data increase, approaches with weaker inductive biases generally outperform those with stronger assumptions. This is particularly characteristic of the field of Visual Representation Learning, where approaches have gone from being dominated by Supervised Learning, to Weakly Supervised Learning, to the now widespread success of Self-Supervised Learning without human labels. Yet, even modern Self-Supervised Learning approaches still depend on strong inductive biases such as augmentations, masking, or cropping. If this trend holds, even these remaining biases should become bottlenecks at scale -- and our experiments confirm this: the optimal strength of inductive biases decreases as data grows. This motivates the search for approaches that rely on fewer assumptions. To this end, we introduce Temporal Difference in Vision (TDV), a new paradigm for self-supervised learning from video that avoids existing inductive biases, relying instead on a causal assumption that the past causes the future. TDV functions by jointly training an image encoder and a motion encoder so that the current frame's representation plus the encoded motion equals the next frame's representation. Despite not leveraging any strong inductive biases, TDV matches state-of-the-art recipes on dense spatial tasks, laying the foundation for representation learning without strong assumptions.