Verbesserung der Repräsentation für unausgewogene Regression durch geometrische Einschränkungen

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Autoren: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Zusammenfassung

In der Repräsentationslernforschung bezieht sich Uniformität auf die gleichmäßige Verteilung von Merkmalen im latenten Raum (d. h. auf der Einheitshypersphäre). Frühere Arbeiten haben gezeigt, dass die Verbesserung der Uniformität zum Lernen unterrepräsentierter Klassen beiträgt. Die meisten bisherigen Arbeiten konzentrierten sich jedoch auf die Klassifikation; der Repräsentationsraum für unausgewogene Regressionen bleibt weitgehend unerforscht. Klassifikationsbasierte Methoden sind für Regressionsaufgaben ungeeignet, da sie Merkmale in distinkte Gruppen clustern, ohne die für Regressionen wesentliche kontinuierliche und geordnete Natur zu berücksichtigen. Aus geometrischer Sicht konzentrieren wir uns einzigartig darauf, Uniformität im latenten Raum für unausgewogene Regressionen durch zwei Schlüsselverluste sicherzustellen: Einhüllung und Homogenität. Der Einhüllungsverlust fördert, dass die induzierte Spur gleichmäßig die Oberfläche einer Hypersphäre besetzt, während der Homogenitätsverlust für Glätte sorgt, indem die Repräsentationen in gleichmäßigen Abständen verteilt sind. Unsere Methode integriert diese geometrischen Prinzipien in die Datenrepräsentationen über ein Surrogate-gestütztes Repräsentationslernframework (SRL). Experimente mit realen Regressions- und Operatorlernaufgaben unterstreichen die Bedeutung der Uniformität bei unausgewogenen Regressionen und validieren die Wirksamkeit unserer geometriebasierten Verlustfunktionen.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.