기하학적 제약을 통해 불균형 회귀 문제의 표현력 개선

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

저자: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

초록

표현 학습에서 균일성(uniformity)은 잠재 공간(즉, 단위 초구) 내에서의 균일한 특성 분포를 의미한다. 선행 연구들은 균일성을 개선하는 것이 과소 표현된 클래스의 학습에 기여한다는 것을 보여주었다. 그러나 대부분의 선행 연구는 분류 문제에 초점을 맞추었으며, 불균형 회귀 문제의 표현 공간은 아직 탐구되지 않았다. 분류 기반 방법들은 회귀 작업에 적합하지 않은데, 이는 회귀에 필수적인 연속적이고 순서가 있는 특성을 고려하지 않고 특성들을 별개의 그룹으로 클러스터링하기 때문이다. 기하학적 관점에서, 우리는 두 가지 핵심 손실 함수인 포괄성(enveloping)과 동질성(homogeneity)을 통해 불균형 회귀 문제에서 잠재 공간의 균일성을 보장하는 데 독창적으로 초점을 맞춘다. 포괄성 손실은 유도된 궤적이 초구의 표면을 균일하게 차지하도록 장려하며, 동질성 손실은 표현들이 일정한 간격으로 균등하게 분포되도록 매끄러움을 보장한다. 우리의 방법은 이러한 기하학적 원칙들을 대리인 기반 표현 학습(Surrogate-driven Representation Learning, SRL) 프레임워크를 통해 데이터 표현에 통합한다. 실제 회귀 및 연산자 학습 작업에 대한 실험은 불균형 회귀에서 균일성의 중요성을 강조하고, 우리의 기하학 기반 손실 함수의 효용성을 검증한다.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.