MIST: Información Mutua Mediante Entrenamiento Supervisado

Resumen

Proponemos un enfoque completamente basado en datos para diseñar estimadores de información mutua (MI). Dado que cualquier estimador de MI es una función de la muestra observada de dos variables aleatorias, parametrizamos esta función con una red neuronal (MIST) y la entrenamos de extremo a extremo para predecir valores de MI. El entrenamiento se realiza sobre un gran meta-conjunto de datos de 625,000 distribuciones conjuntas sintéticas con MI de valor real conocido. Para manejar tamaños de muestra y dimensiones variables, empleamos un esquema de atención bidimensional que garantiza invariancia a permutaciones en las muestras de entrada. Para cuantificar la incertidumbre, optimizamos una función de pérdida de regresión cuantílica, permitiendo que el estimador aproxime la distribución muestral del MI en lugar de devolver una única estimación puntual. Este programa de investigación se aparta de trabajos previos al tomar una ruta completamente empírica, intercambiando garantías teóricas universales por flexibilidad y eficiencia. Empíricamente, los estimadores aprendidos superan ampliamente a los métodos clásicos de referencia en todos los tamaños de muestra y dimensiones, incluso en distribuciones conjuntas no vistas durante el entrenamiento. Los intervalos basados en cuantiles resultantes están bien calibrados y son más confiables que los intervalos de confianza basados en *bootstrap*, mientras que la inferencia es órdenes de magnitud más rápida que en los métodos neuronales de referencia existentes. Más allá de las ganancias empíricas inmediatas, este marco produce estimadores entrenables y completamente diferenciables que pueden integrarse en pipelines de aprendizaje más grandes. Además, explotando la invariancia del MI a transformaciones invertibles, los meta-conjuntos de datos pueden adaptarse a modalidades de datos arbitrarias mediante *normalizing flows*, permitiendo un entrenamiento flexible para diversas meta-distribuciones objetivo.

English

We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.

MIST: Información Mutua Mediante Entrenamiento Supervisado

MIST: Mutual Information Via Supervised Training

Resumen

Support