不均衡回帰の表現向上のための幾何学的制約

要旨

表現学習において、均一性（uniformity）とは潜在空間（すなわち単位超球面）における特徴の均一な分布を指します。これまでの研究では、均一性を向上させることが、過小表現されたクラスの学習に寄与することが示されています。しかし、これまでの研究のほとんどは分類に焦点を当てており、不均衡回帰の表現空間は未開拓のままです。分類ベースの手法は、回帰に不可欠な連続的かつ順序付けられた性質を考慮せずに特徴を異なるグループにクラスタリングするため、回帰タスクには適していません。幾何学的な観点から、我々は不均衡回帰のための潜在空間における均一性を確保することに独自に焦点を当て、2つの主要な損失関数、すなわち包絡損失（enveloping loss）と均質性損失（homogeneity loss）を提案します。包絡損失は、誘導されたトレースが超球面の表面を均一に占めることを促し、均質性損失は、表現が一定の間隔で均等に配置される滑らかさを保証します。我々の手法は、これらの幾何学的原理をSurrogate-driven Representation Learning（SRL）フレームワークを介してデータ表現に統合します。実世界の回帰および演算子学習タスクを用いた実験は、不均衡回帰における均一性の重要性を強調し、我々の幾何学ベースの損失関数の有効性を検証します。

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.

不均衡回帰の表現向上のための幾何学的制約

Improve Representation for Imbalanced Regression through Geometric Constraints

要旨

Summary

Support

Support