MIST: Gegenseitige Information durch überwachtes Training

papers.abstract

Wir schlagen einen vollständig datengesteuerten Ansatz zur Entwicklung von Schätzern für die gegenseitige Information (Mutual Information, MI) vor. Da jeder MI-Schätzer eine Funktion der beobachteten Stichprobe aus zwei Zufallsvariablen ist, parametrisieren wir diese Funktion mit einem neuronalen Netzwerk (MIST) und trainieren es end-to-end, um MI-Werte vorherzusagen. Das Training wird auf einem großen Meta-Datensatz von 625.000 synthetischen Verbundverteilungen mit bekannter Grundwahrheits-MI durchgeführt. Um variable Stichprobengrößen und Dimensionen zu handhaben, setzen wir ein zweidimensionales Attention-Schema ein, das Permutationsinvarianz über die Eingabestichproben hinweg gewährleistet. Zur Quantifizierung von Unsicherheit optimieren wir einen Quantilregressionsverlust, wodurch der Schätzer in der Lage ist, die Stichprobenverteilung der MI anzunähern, anstatt eine einzelne Punktschätzung zurückzugeben. Dieses Forschungsprogramm unterscheidet sich von früheren Arbeiten, indem es einen vollständig empirischen Weg einschlägt und universelle theoretische Garantien gegen Flexibilität und Effizienz eintauscht. Empirisch übertreffen die gelernten Schätzer klassische Baseline-Methoden über verschiedene Stichprobengrößen und Dimensionen hinweg deutlich, einschließlich bei Verbundverteilungen, die während des Trainings nicht gesehen wurden. Die resultierenden quantilbasierten Intervalle sind gut kalibriert und zuverlässiger als Bootstrap-Konfidenzintervalle, während der Inferenzvorgang um Größenordnungen schneller ist als bei bestehenden neuronalen Baseline-Methoden. Über unmittelbare empirische Verbesserungen hinaus liefert dieses Framework trainierbare, vollständig differenzierbare Schätzer, die in größere Lernpipelines eingebettet werden können. Darüber hinaus können Meta-Datensätze durch Ausnutzung der Invarianz der MI gegenüber invertierbaren Transformationen via Normalizing Flows an beliebige Datenmodalitäten angepasst werden, was ein flexibles Training für diverse Ziel-Meta-Verteilungen ermöglicht.

English

We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.

MIST: Gegenseitige Information durch überwachtes Training

MIST: Mutual Information Via Supervised Training

papers.abstract

Support