Acoplamento de Entropia Mínima com Restrição de Canal

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Autores: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Resumo

Este artigo investiga um novo framework de compressão com perdas operando sob perda logarítmica, projetado para lidar com situações em que a distribuição de reconstrução diverge da distribuição de origem. Este framework é especialmente relevante para aplicações que exigem compressão e recuperação conjuntas, e em cenários envolvendo mudanças distribucionais devido ao processamento. Mostramos que a formulação proposta estende o framework clássico de acoplamento de entropia mínima integrando um gargalo, permitindo um grau controlado de estocasticidade no acoplamento. Exploramos a decomposição do Acoplamento de Entropia Mínima com Gargalo (MEC-B) em dois problemas de otimização distintos: Maximização de Informação Limitada por Entropia (EBIM) para o codificador, e Acoplamento de Entropia Mínima (MEC) para o decodificador. Através de uma análise extensiva, fornecemos um algoritmo guloso para EBIM com desempenho garantido, e caracterizamos a solução ótima próxima de mapeamentos funcionais, fornecendo insights teóricos significativos sobre a complexidade estrutural desse problema. Além disso, ilustramos a aplicação prática do MEC-B por meio de experimentos em Jogos de Codificação de Markov (MCGs) sob limites de taxa. Esses jogos simulam um cenário de comunicação dentro de um Processo de Decisão de Markov, onde um agente deve transmitir uma mensagem comprimida de um remetente para um receptor por meio de suas ações. Nossos experimentos destacam os trade-offs entre as recompensas do MDP e a precisão do receptor em várias taxas de compressão, demonstrando a eficácia do nosso método em comparação com a linha de base de compressão convencional.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.