Mejora de la Representación en Regresión Desbalanceada mediante Restricciones Geométricas

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Autores: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Resumen

En el aprendizaje de representaciones, la uniformidad se refiere a la distribución uniforme de características en el espacio latente (es decir, la hiperesfera unitaria). Trabajos previos han demostrado que mejorar la uniformidad contribuye al aprendizaje de clases subrepresentadas. Sin embargo, la mayoría de los estudios anteriores se centraron en la clasificación; el espacio de representación en regresión desbalanceada sigue sin explorarse. Los métodos basados en clasificación no son adecuados para tareas de regresión, ya que agrupan características en grupos distintos sin considerar la naturaleza continua y ordenada esencial para la regresión. Desde un aspecto geométrico, nos enfocamos de manera única en garantizar la uniformidad en el espacio latente para regresión desbalanceada mediante dos pérdidas clave: envolvente y homogeneidad. La pérdida envolvente fomenta que la traza inducida ocupe uniformemente la superficie de una hiperesfera, mientras que la pérdida de homogeneidad asegura suavidad, con representaciones espaciadas uniformemente a intervalos consistentes. Nuestro método integra estos principios geométricos en las representaciones de datos a través de un marco de Aprendizaje de Representaciones Impulsado por Suplentes (SRL, por sus siglas en inglés). Experimentos con tareas de regresión del mundo real y aprendizaje de operadores destacan la importancia de la uniformidad en regresión desbalanceada y validan la eficacia de nuestras funciones de pérdida basadas en geometría.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.