Migliorare la Rappresentazione per la Regressione Sbilanciata attraverso Vincoli Geometrici

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Autori: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Abstract

Nell'apprendimento di rappresentazioni, l'uniformità si riferisce alla distribuzione uniforme delle caratteristiche nello spazio latente (cioè, l'ipersfera unitaria). Ricerche precedenti hanno dimostrato che migliorare l'uniformità contribuisce all'apprendimento delle classi sottorappresentate. Tuttavia, la maggior parte dei lavori precedenti si è concentrata sulla classificazione; lo spazio di rappresentazione della regressione sbilanciata rimane inesplorato. I metodi basati sulla classificazione non sono adatti per i task di regressione perché raggruppano le caratteristiche in gruppi distinti senza considerare la natura continua e ordinata essenziale per la regressione. Da un punto di vista geometrico, ci concentriamo in modo unico sull'assicurare l'uniformità nello spazio latente per la regressione sbilanciata attraverso due perdite chiave: avvolgimento e omogeneità. La perdita di avvolgimento incoraggia la traccia indotta a occupare uniformemente la superficie di un'ipersfera, mentre la perdita di omogeneità assicura la levigatezza, con rappresentazioni equidistanziate a intervalli costanti. Il nostro metodo integra questi principi geometrici nelle rappresentazioni dei dati attraverso un framework di Apprendimento di Rappresentazioni Guidato da Surrogato (SRL). Esperimenti con task di regressione del mondo reale e apprendimento di operatori evidenziano l'importanza dell'uniformità nella regressione sbilanciata e convalidano l'efficacia delle nostre funzioni di perdita basate sulla geometria.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.