Comprimir ou Não Comprimir - Aprendizado Autossupervisionado e Teoria da Informação: Uma Revisão

To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review

April 19, 2023

Autores: Ravid Shwartz-Ziv, Yann LeCun

cs.AI

Resumo

Redes neurais profundas demonstraram desempenho notável em tarefas de aprendizado supervisionado, mas exigem grandes quantidades de dados rotulados. O aprendizado auto-supervisionado oferece um paradigma alternativo, permitindo que o modelo aprenda a partir de dados sem rótulos explícitos. A teoria da informação tem sido fundamental para compreender e otimizar redes neurais profundas. Especificamente, o princípio do gargalo de informação tem sido aplicado para otimizar a relação entre compressão e preservação de informações relevantes em cenários supervisionados. No entanto, o objetivo ideal de informação no aprendizado auto-supervisionado ainda não está claro. Neste artigo, revisamos diversas abordagens de aprendizado auto-supervisionado sob a perspectiva da teoria da informação e apresentamos uma estrutura unificada que formaliza o problema de aprendizado auto-supervisionado baseado em teoria da informação. Integramos pesquisas existentes em uma estrutura coerente, examinamos métodos recentes de aprendizado auto-supervisionado e identificamos oportunidades e desafios de pesquisa. Além disso, discutimos a medição empírica de quantidades teóricas da informação e seus estimadores. Este artigo oferece uma revisão abrangente da interseção entre teoria da informação, aprendizado auto-supervisionado e redes neurais profundas.

English

Deep neural networks have demonstrated remarkable performance in supervised learning tasks but require large amounts of labeled data. Self-supervised learning offers an alternative paradigm, enabling the model to learn from data without explicit labels. Information theory has been instrumental in understanding and optimizing deep neural networks. Specifically, the information bottleneck principle has been applied to optimize the trade-off between compression and relevant information preservation in supervised settings. However, the optimal information objective in self-supervised learning remains unclear. In this paper, we review various approaches to self-supervised learning from an information-theoretic standpoint and present a unified framework that formalizes the self-supervised information-theoretic learning problem. We integrate existing research into a coherent framework, examine recent self-supervised methods, and identify research opportunities and challenges. Moreover, we discuss empirical measurement of information-theoretic quantities and their estimators. This paper offers a comprehensive review of the intersection between information theory, self-supervised learning, and deep neural networks.