Acoplamiento de Entropía Mínima con Cuello de Botella

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Autores: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Resumen

Este documento investiga un novedoso marco de compresión con pérdida que opera bajo una pérdida logarítmica, diseñado para manejar situaciones en las que la distribución de reconstrucción se aleja de la distribución fuente. Este marco es especialmente relevante para aplicaciones que requieren compresión y recuperación conjuntas, y en escenarios que involucran cambios distribucionales debido al procesamiento. Mostramos que la formulación propuesta extiende el marco clásico de acoplamiento de entropía mínima al integrar un cuello de botella, permitiendo un grado controlado de estocasticidad en el acoplamiento. Exploramos la descomposición del Acoplamiento de Entropía Mínima con Cuello de Botella (MEC-B) en dos problemas de optimización distintos: Maximización de Información Acotada por Entropía (EBIM) para el codificador, y Acoplamiento de Entropía Mínima (MEC) para el decodificador. A través de un análisis exhaustivo, proporcionamos un algoritmo voraz para EBIM con un rendimiento garantizado, y caracterizamos la solución óptima cerca de mapeos funcionales, ofreciendo importantes conocimientos teóricos sobre la complejidad estructural de este problema. Además, ilustramos la aplicación práctica de MEC-B a través de experimentos en Juegos de Codificación de Markov (MCGs) bajo límites de tasa. Estos juegos simulan un escenario de comunicación dentro de un Proceso de Decisión de Markov, donde un agente debe transmitir un mensaje comprimido de un emisor a un receptor a través de sus acciones. Nuestros experimentos resaltan los compromisos entre las recompensas de MDP y la precisión del receptor en diferentes tasas de compresión, demostrando la eficacia de nuestro método en comparación con una línea base de compresión convencional.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.