I-Con: 표현 학습을 위한 통합 프레임워크

I-Con: A Unifying Framework for Representation Learning

April 23, 2025

저자: Shaden Alshammari, John Hershey, Axel Feldmann, William T. Freeman, Mark Hamilton

cs.AI

초록

표현 학습 분야가 성장함에 따라 다양한 문제 클래스를 해결하기 위한 다양한 손실 함수가 등장하고 있습니다. 본 연구에서는 기계 학습에서 사용되는 현대적인 손실 함수들의 광범위한 집합을 일반화하는 단일 정보 이론적 방정식을 소개합니다. 특히, 우리는 여러 주요 기계 학습 방법들이 두 조건부 분포(감독 표현과 학습된 표현) 간의 통합 KL 발산을 정확히 최소화하고 있음을 보여주는 프레임워크를 제시합니다. 이 관점은 클러스터링, 스펙트럼 방법, 차원 축소, 대조 학습, 지도 학습 등에 내재된 숨겨진 정보 기하학을 드러냅니다. 이 프레임워크는 문헌 전반에 걸쳐 성공적인 기술들을 결합하여 새로운 손실 함수를 개발할 수 있게 합니다. 우리는 23가지 이상의 서로 다른 접근법들을 연결하는 다양한 증명들을 제시할 뿐만 아니라, 이러한 이론적 결과를 활용하여 ImageNet-1K에서의 비지도 분류에서 기존 최첨단 기술 대비 +8%의 성능 향상을 달성한 최첨단 비지도 이미지 분류기를 개발했습니다. 또한 I-Con이 대조 표현 학습기의 성능을 개선하는 원칙적인 편향 제거 방법을 도출하는 데 사용될 수 있음을 입증합니다.

English

As the field of representation learning grows, there has been a proliferation of different loss functions to solve different classes of problems. We introduce a single information-theoretic equation that generalizes a large collection of modern loss functions in machine learning. In particular, we introduce a framework that shows that several broad classes of machine learning methods are precisely minimizing an integrated KL divergence between two conditional distributions: the supervisory and learned representations. This viewpoint exposes a hidden information geometry underlying clustering, spectral methods, dimensionality reduction, contrastive learning, and supervised learning. This framework enables the development of new loss functions by combining successful techniques from across the literature. We not only present a wide array of proofs, connecting over 23 different approaches, but we also leverage these theoretical results to create state-of-the-art unsupervised image classifiers that achieve a +8% improvement over the prior state-of-the-art on unsupervised classification on ImageNet-1K. We also demonstrate that I-Con can be used to derive principled debiasing methods which improve contrastive representation learners.