ボトルネックを持つ最小エントロピー結合

Minimum Entropy Coupling with Bottleneck

October 29, 2024

著者: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

要旨

本論文は、対数損失を用いる新しい損失圧縮フレームワークについて調査しました。このフレームワークは、再構成分布がソース分布から逸脱する状況を扱うよう設計されており、特に圧縮と取得を同時に行うアプリケーションや処理による分布シフトが関与するシナリオに適しています。提案された定式化が、ボトルネックを統合することで古典的な最小エントロピー結合フレームワークを拡張し、結合における制御された確率性の程度を可能にすることを示します。最小エントロピー結合ボトルネック（MEC-B）の分解を、エンコーダ向けのエントロピー制約情報最大化（EBIM）とデコーダ向けの最小エントロピー結合（MEC）の2つの異なる最適化問題に探求します。詳細な分析を通じて、保証された性能を持つEBIMのための貪欲アルゴリズムを提供し、機能的なマッピング近傍における最適解を特徴づけることで、この問題の構造的複雑さに関する重要な理論的洞察を提供します。さらに、MEC-Bの実用的な応用をマルコフ符号化ゲーム（MCGs）における実験を通じて示します。これらのゲームは、マルコフ決定過程内での通信シナリオをシミュレートし、エージェントが送信者から受信者に圧縮されたメッセージを行動を通じて送信する必要がある状況を模倣します。実験では、異なる圧縮率にわたりMDP報酬と受信者の精度とのトレードオフを強調し、従来の圧縮ベースラインに比べて当社の手法の有効性を示しています。

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.