Verbeter de Representatie voor Onevenwichtige Regressie door Geometrische Beperkingen

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Auteurs: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Samenvatting

In representatieleren verwijst uniformiteit naar de uniforme verdeling van kenmerken in de latente ruimte (d.w.z. de eenheidshyperboloïde). Eerder onderzoek heeft aangetoond dat het verbeteren van uniformiteit bijdraagt aan het leren van ondervertegenwoordigde klassen. Het meeste eerdere werk richtte zich echter op classificatie; de representatieruimte van onbalansregressie blijft onontgonnen. Classificatiegebaseerde methoden zijn niet geschikt voor regressietaken omdat ze kenmerken in afzonderlijke groepen clusteren zonder rekening te houden met de continue en geordende aard die essentieel is voor regressie. Vanuit een geometrisch perspectief richten wij ons uniek op het waarborgen van uniformiteit in de latente ruimte voor onbalansregressie via twee belangrijke verliesfuncties: omhullende en homogeniteit. De omhullende verliesfunctie moedigt aan dat de geïnduceerde trace het oppervlak van een hyperboloïde uniform bezet, terwijl de homogeniteitsverliesfunctie zorgt voor gladheid, waarbij representaties gelijkmatig verdeeld zijn op consistente intervallen. Onze methode integreert deze geometrische principes in de datarepresentaties via een Surrogate-driven Representation Learning (SRL) raamwerk. Experimenten met real-world regressie- en operatorleertaken benadrukken het belang van uniformiteit in onbalansregressie en valideren de effectiviteit van onze geometrisch gebaseerde verliesfuncties.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.