I-Con: 表現学習のための統一的フレームワーク

要旨

表現学習の分野が拡大するにつれ、さまざまな問題クラスを解決するための多様な損失関数が増加してきました。本論文では、機械学習における現代の損失関数の多くを一般化する単一の情報理論的方程式を紹介します。特に、いくつかの広範な機械学習手法のクラスが、2つの条件付き分布（教師信号と学習された表現）間の統合KLダイバージェンスを正確に最小化していることを示すフレームワークを提案します。この視点は、クラスタリング、スペクトル法、次元削減、コントラスティブ学習、そして教師あり学習の背後に隠された情報幾何学を明らかにします。このフレームワークにより、文献中の成功した技術を組み合わせることで新しい損失関数を開発することが可能になります。我々は、23以上の異なるアプローチを結びつける幅広い証明を提示するだけでなく、これらの理論的結果を活用して、ImageNet-1Kにおける教師なし分類で従来の最先端を+8%改善する最先端の教師なし画像分類器を開発しました。また、I-Conが、コントラスティブ表現学習器の偏りを改善する原理的な方法を導出するために使用できることも実証しました。

English

As the field of representation learning grows, there has been a proliferation of different loss functions to solve different classes of problems. We introduce a single information-theoretic equation that generalizes a large collection of modern loss functions in machine learning. In particular, we introduce a framework that shows that several broad classes of machine learning methods are precisely minimizing an integrated KL divergence between two conditional distributions: the supervisory and learned representations. This viewpoint exposes a hidden information geometry underlying clustering, spectral methods, dimensionality reduction, contrastive learning, and supervised learning. This framework enables the development of new loss functions by combining successful techniques from across the literature. We not only present a wide array of proofs, connecting over 23 different approaches, but we also leverage these theoretical results to create state-of-the-art unsupervised image classifiers that achieve a +8% improvement over the prior state-of-the-art on unsupervised classification on ImageNet-1K. We also demonstrate that I-Con can be used to derive principled debiasing methods which improve contrastive representation learners.

I-Con: 表現学習のための統一的フレームワーク

I-Con: A Unifying Framework for Representation Learning

要旨

Support