Сжимать или не сжимать: самообучение и теория информации — обзор

To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review

April 19, 2023

Авторы: Ravid Shwartz-Ziv, Yann LeCun

cs.AI

Аннотация

Глубокие нейронные сети продемонстрировали выдающиеся результаты в задачах обучения с учителем, однако требуют больших объемов размеченных данных. Самообучение предлагает альтернативную парадигму, позволяя модели обучаться на данных без явных меток. Теория информации сыграла ключевую роль в понимании и оптимизации глубоких нейронных сетей. В частности, принцип информационного узкого места применялся для оптимизации компромисса между сжатием и сохранением релевантной информации в задачах с учителем. Однако оптимальная информационная цель в самообучении остается неясной. В данной статье мы рассматриваем различные подходы к самообучению с точки зрения теории информации и представляем унифицированную структуру, формализующую задачу самообучения в информационно-теоретическом контексте. Мы интегрируем существующие исследования в единую структуру, анализируем современные методы самообучения и выделяем перспективные направления и вызовы. Кроме того, мы обсуждаем эмпирическое измерение информационно-теоретических величин и их оценок. Эта статья представляет собой всесторонний обзор на стыке теории информации, самообучения и глубоких нейронных сетей.

English

Deep neural networks have demonstrated remarkable performance in supervised learning tasks but require large amounts of labeled data. Self-supervised learning offers an alternative paradigm, enabling the model to learn from data without explicit labels. Information theory has been instrumental in understanding and optimizing deep neural networks. Specifically, the information bottleneck principle has been applied to optimize the trade-off between compression and relevant information preservation in supervised settings. However, the optimal information objective in self-supervised learning remains unclear. In this paper, we review various approaches to self-supervised learning from an information-theoretic standpoint and present a unified framework that formalizes the self-supervised information-theoretic learning problem. We integrate existing research into a coherent framework, examine recent self-supervised methods, and identify research opportunities and challenges. Moreover, we discuss empirical measurement of information-theoretic quantities and their estimators. This paper offers a comprehensive review of the intersection between information theory, self-supervised learning, and deep neural networks.