圧縮すべきか、圧縮すべきでないか - 自己教師あり学習と情報理論：レビュー

要旨

深層ニューラルネットワークは教師あり学習タスクにおいて顕著な性能を発揮するが、大量のラベル付きデータを必要とする。自己教師あり学習はこれに代わるパラダイムを提供し、明示的なラベルなしでデータから学習することを可能にする。情報理論は、深層ニューラルネットワークの理解と最適化において重要な役割を果たしてきた。特に、情報ボトルネック原理は、教師あり設定において圧縮と関連情報の保存のトレードオフを最適化するために適用されてきた。しかし、自己教師あり学習における最適な情報目的関数は未だ明確ではない。本論文では、情報理論の観点から自己教師あり学習の様々なアプローチをレビューし、自己教師あり情報理論学習問題を形式化する統一フレームワークを提示する。既存研究を一貫したフレームワークに統合し、最近の自己教師あり手法を検証し、研究機会と課題を特定する。さらに、情報理論的量とその推定器の経験的測定について議論する。本論文は、情報理論、自己教師あり学習、深層ニューラルネットワークの交差点に関する包括的なレビューを提供する。

English

Deep neural networks have demonstrated remarkable performance in supervised learning tasks but require large amounts of labeled data. Self-supervised learning offers an alternative paradigm, enabling the model to learn from data without explicit labels. Information theory has been instrumental in understanding and optimizing deep neural networks. Specifically, the information bottleneck principle has been applied to optimize the trade-off between compression and relevant information preservation in supervised settings. However, the optimal information objective in self-supervised learning remains unclear. In this paper, we review various approaches to self-supervised learning from an information-theoretic standpoint and present a unified framework that formalizes the self-supervised information-theoretic learning problem. We integrate existing research into a coherent framework, examine recent self-supervised methods, and identify research opportunities and challenges. Moreover, we discuss empirical measurement of information-theoretic quantities and their estimators. This paper offers a comprehensive review of the intersection between information theory, self-supervised learning, and deep neural networks.

圧縮すべきか、圧縮すべきでないか - 自己教師あり学習と情報理論：レビュー

To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review

要旨

Support