Melhorar a Representação para Regressão Desbalanceada por meio de Restrições Geométricas

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Autores: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Resumo

No aprendizado de representação, a uniformidade refere-se à distribuição uniforme de características no espaço latente (ou seja, a hiperesfera unitária). Trabalhos anteriores demonstraram que melhorar a uniformidade contribui para o aprendizado de classes sub-representadas. No entanto, a maioria dos estudos anteriores focou em classificação; o espaço de representação da regressão desbalanceada permanece inexplorado. Métodos baseados em classificação não são adequados para tarefas de regressão, pois agrupam características em grupos distintos sem considerar a natureza contínua e ordenada essencial para a regressão. Em um aspecto geométrico, focamos exclusivamente em garantir a uniformidade no espaço latente para regressão desbalanceada por meio de duas perdas principais: envoltória e homogeneidade. A perda envoltória incentiva que o traço induzido ocupe uniformemente a superfície de uma hiperesfera, enquanto a perda de homogeneidade garante suavidade, com representações espaçadas uniformemente em intervalos consistentes. Nosso método integra esses princípios geométricos nas representações de dados por meio de um framework de Aprendizado de Representação Orientado por Surrogates (SRL). Experimentos com tarefas de regressão do mundo real e aprendizado de operadores destacam a importância da uniformidade na regressão desbalanceada e validam a eficácia de nossas funções de perda baseadas em geometria.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.