압축할 것인가, 말 것인가 - 자기 지도 학습과 정보 이론: 리뷰

초록

심층 신경망은 지도 학습 작업에서 뛰어난 성능을 보여왔지만, 대량의 레이블이 지정된 데이터를 필요로 합니다. 자기 지도 학습은 이러한 문제에 대한 대안적 패러다임을 제공하며, 모델이 명시적인 레이블 없이 데이터로부터 학습할 수 있게 합니다. 정보 이론은 심층 신경망을 이해하고 최적화하는 데 중요한 역할을 해왔습니다. 특히, 정보 병목 원리는 지도 학습 환경에서 압축과 관련 정보 보존 간의 균형을 최적화하는 데 적용되어 왔습니다. 그러나 자기 지도 학습에서의 최적 정보 목표는 여전히 명확하지 않습니다. 본 논문에서는 정보 이론적 관점에서 다양한 자기 지도 학습 접근법을 검토하고, 자기 지도 정보 이론적 학습 문제를 공식화하는 통합 프레임워크를 제시합니다. 우리는 기존 연구를 일관된 프레임워크로 통합하고, 최근의 자기 지도 학습 방법을 검토하며, 연구 기회와 과제를 식별합니다. 또한, 정보 이론적 양과 그 추정치의 경험적 측정에 대해 논의합니다. 이 논문은 정보 이론, 자기 지도 학습, 그리고 심층 신경망의 교차점에 대한 포괄적인 리뷰를 제공합니다.

English

Deep neural networks have demonstrated remarkable performance in supervised learning tasks but require large amounts of labeled data. Self-supervised learning offers an alternative paradigm, enabling the model to learn from data without explicit labels. Information theory has been instrumental in understanding and optimizing deep neural networks. Specifically, the information bottleneck principle has been applied to optimize the trade-off between compression and relevant information preservation in supervised settings. However, the optimal information objective in self-supervised learning remains unclear. In this paper, we review various approaches to self-supervised learning from an information-theoretic standpoint and present a unified framework that formalizes the self-supervised information-theoretic learning problem. We integrate existing research into a coherent framework, examine recent self-supervised methods, and identify research opportunities and challenges. Moreover, we discuss empirical measurement of information-theoretic quantities and their estimators. This paper offers a comprehensive review of the intersection between information theory, self-supervised learning, and deep neural networks.

압축할 것인가, 말 것인가 - 자기 지도 학습과 정보 이론: 리뷰

To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review

초록

Support