Связывание с минимальной энтропией с узким местом

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Авторы: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Аннотация

Данный документ исследует новую рамку потерь сжатия, работающую на основе логарифмических потерь и предназначенную для работы в ситуациях, когда распределение восстановления расходится с распределением источника. Эта рамка особенно актуальна для приложений, требующих совместного сжатия и извлечения, а также в сценариях, связанных с изменениями распределения из-за обработки. Мы показываем, что предложенная формулировка расширяет классическую рамку минимальной энтропии сцепления путем интеграции узкого места, позволяющего контролировать степень стохастичности в сцеплении. Мы исследуем декомпозицию Минимального Энтропийного Сцепления с Узким Местом (MEC-B) на две отдельные задачи оптимизации: Максимизацию Информации с Ограниченной Энтропией (EBIM) для кодера и Минимальное Энтропийное Сцепление (MEC) для декодера. Через обширный анализ мы предлагаем жадный алгоритм для EBIM с гарантированной производительностью и характеризуем оптимальное решение около функциональных отображений, что приводит к значительным теоретическим исследованиям структурной сложности этой проблемы. Более того, мы иллюстрируем практическое применение MEC-B через эксперименты в Играх Марковского Кодирования (MCG) при ограничениях скорости. Эти игры моделируют сценарий коммуникации в рамках Процесса Принятия Решений Маркова, где агент должен передать сжатое сообщение от отправителя к получателю через свои действия. Наши эксперименты подчеркивают компромиссы между наградами MDP и точностью получателя при различных скоростях сжатия, демонстрируя эффективность нашего метода по сравнению с обычным базовым сжатием.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.