MIST: Informação Mútua Via Treinamento Supervisionado
MIST: Mutual Information Via Supervised Training
November 24, 2025
Autores: German Gritsai, Megan Richards, Maxime Méloux, Kyunghyun Cho, Maxime Peyrard
cs.AI
Resumo
Propomos uma abordagem totalmente baseada em dados para projetar estimadores de informação mútua (IM). Uma vez que qualquer estimador de IM é uma função da amostra observada de duas variáveis aleatórias, parametrizamos essa função com uma rede neural (MIST) e a treinamos de forma integral para prever valores de IM. O treinamento é realizado em um grande metaconjunto de dados de 625.000 distribuições conjuntas sintéticas com IM de valor real conhecido. Para lidar com tamanhos de amostra e dimensões variáveis, empregamos um esquema de atenção bidimensional que garante invariância a permutações entre as amostras de entrada. Para quantificar a incerteza, otimizamos uma função de perda de regressão quantílica, permitindo que o estimador aproxime a distribuição amostral da IM em vez de retornar uma única estimativa pontual. Este programa de pesquisa difere de trabalhos anteriores ao seguir uma rota totalmente empírica, trocando garantias teóricas universais por flexibilidade e eficiência. Empiricamente, os estimadores aprendidos superam amplamente as baselines clássicas em diversos tamanhos de amostra e dimensões, inclusive em distribuições conjuntas não vistas durante o treinamento. Os intervalos baseados em quantis resultantes são bem calibrados e mais confiáveis do que intervalos de confiança baseados em bootstrap, enquanto a inferência é ordens de magnitude mais rápida do que as baselines neurais existentes. Além dos ganhos empíricos imediatos, esta estrutura produz estimadores treináveis e totalmente diferenciáveis que podem ser incorporados em pipelines de aprendizado maiores. Além disso, explorando a invariância da IM a transformações invertíveis, os metaconjuntos de dados podem ser adaptados a modalidades de dados arbitrárias por meio de fluxos de normalização (normalizing flows), permitindo treinamento flexível para diversas metadistribuições-alvo.
English
We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.