MIST: Взаимная информация посредством обучения с учителем

Аннотация

Мы предлагаем полностью основанный на данных подход к проектированию оценщиков взаимной информации (ВИ). Поскольку любой оценщик ВИ является функцией от наблюдаемой выборки из двух случайных величин, мы параметризуем эту функцию с помощью нейронной сети (MIST) и обучаем её сквозным образом для прогнозирования значений ВИ. Обучение проводится на крупном мета-датасете из 625 000 синтетических совместных распределений с известной истинной ВИ. Для работы с переменными размерами выборок и размерностями мы используем двумерную схему внимания, обеспечивающую перестановочную инвариантность входных выборок. Для количественной оценки неопределенности мы оптимизируем функцию потерь квантильной регрессии, что позволяет оценщику аппроксимировать выборочное распределение ВИ вместо возврата точечной оценки. Данная исследовательская программа отличается от предыдущих работ полностью эмпирическим подходом, жертвуя универсальными теоретическими гарантиями ради гибкости и эффективности. Экспериментально обученные оценщики значительно превосходят классические базовые методы при различных размерах выборок и размерностях, включая совместные распределения, не встречавшиеся при обучении. Получаемые квантильные интервалы хорошо калиброваны и надежнее доверительных интервалов на основе бустраппинга, в то время как вывод осуществляется на порядки быстрее существующих нейросетевых аналогов. Помимо непосредственных практических преимуществ, данная框架 создает обучаемые, полностью дифференцируемые оценщики, которые можно встраивать в более крупные обучающие конвейеры. Более того, используя инвариантность ВИ к обратимым преобразованиям, мета-датасеты можно адаптировать к произвольным модальностям данных с помощью нормализующих потоков, обеспечивая гибкое обучение для разнообразных целевых мета-распределений.

English

We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.

MIST: Взаимная информация посредством обучения с учителем

MIST: Mutual Information Via Supervised Training

Аннотация

Support