MIST: Wederzijdse Informatie Via Gesuperviseerde Training

Samenvatting

Wij stellen een volledig data-gedreven aanpak voor om schatters voor wederzijdse informatie (WI) te ontwerpen. Aangezien elke WI-schatter een functie is van de waargenomen steekproef van twee willekeurige variabelen, parametriseren we deze functie met een neuraal netwerk (MIST) en trainen we het end-to-end om WI-waarden te voorspellen. De training wordt uitgevoerd op een grote meta-dataset van 625.000 synthetische gezamenlijke verdelingen met bekende grondwaarden voor WI. Om variabele steekproefgroottes en dimensies te hanteren, gebruiken we een tweedimensionaal attentiemechanisme dat permutatie-invariantie over de invoersteekproeven waarborgt. Om onzekerheid te kwantificeren, optimaliseren we een kwantielregressieverlies, waardoor de schatter in staat is de steekproefverdeling van WI te benaderen in plaats van een enkel puntschatting te retourneren. Dit onderzoeksprogramma wijkt af van eerder werk door een volledig empirische route te volgen, waarbij universele theoretische garanties worden ingeruild voor flexibiliteit en efficiëntie. Empirisch gezien overtreffen de geleerde schatters klassieke referentiemethoden aanzienlijk over verschillende steekproefgroottes en dimensies, ook op gezamenlijke verdelingen die niet tijdens de training zijn gezien. De resulterende op kwantielen gebaseerde intervallen zijn goed gekalibreerd en betrouwbaarder dan op bootstrap gebaseerde betrouwbaarheidsintervallen, terwijl de inferentie ordes van grootte sneller is dan bij bestaande neurale referentiemethoden. Naast onmiddellijke empirische winst levert dit raamwerk trainbare, volledig differentieerbare schatters op die kunnen worden ingebed in grotere leerpijplijnen. Bovendien kan, door gebruik te maken van de invariantie van WI voor inverteerbare transformaties, de meta-dataset worden aangepast aan willekeurige datamodaliteiten via normalizing flows, waardoor flexibele training voor diverse doel-meta-verdelingen mogelijk wordt.

English

We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.

MIST: Wederzijdse Informatie Via Gesuperviseerde Training

MIST: Mutual Information Via Supervised Training

Samenvatting

Support