Amélioration de la représentation pour la régression déséquilibrée via des contraintes géométriques

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Auteurs: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Résumé

Dans l'apprentissage de représentation, l'uniformité fait référence à la distribution uniforme des caractéristiques dans l'espace latent (c'est-à-dire l'hypersphère unitaire). Les travaux précédents ont montré qu'améliorer l'uniformité contribue à l'apprentissage des classes sous-représentées. Cependant, la plupart des recherches antérieures se sont concentrées sur la classification ; l'espace de représentation pour la régression déséquilibrée reste inexploré. Les méthodes basées sur la classification ne sont pas adaptées aux tâches de régression car elles regroupent les caractéristiques en catégories distinctes sans tenir compte de la nature continue et ordonnée essentielle à la régression. D'un point de vue géométrique, nous nous concentrons de manière unique sur l'assurance de l'uniformité dans l'espace latent pour la régression déséquilibrée à travers deux pertes clés : l'enveloppement et l'homogénéité. La perte d'enveloppement encourage la trace induite à occuper uniformément la surface d'une hypersphère, tandis que la perte d'homogénéité assure une régularité, avec des représentations espacées de manière uniforme à des intervalles constants. Notre méthode intègre ces principes géométriques dans les représentations de données via un cadre d'Apprentissage de Représentation Piloté par Surrogate (SRL). Les expériences avec des tâches de régression et d'apprentissage d'opérateurs dans le monde réel mettent en lumière l'importance de l'uniformité dans la régression déséquilibrée et valident l'efficacité de nos fonctions de perte basées sur la géométrie.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.