多様な辞書学習

要旨

観測データ X = g(Z) のみが与えられた場合、潜在変数 Z と生成過程 g の両方が未知であれば、追加の仮定なしに Z を復元することは不良設定問題となる。既存手法では、線形性を仮定したり、補助的な教師信号や関数の制約に依存することが多い。しかし、そのような仮定が実践で検証可能となることは稀であり、ほとんどの理論的保証はごく軽微な違反に対しても崩壊するため、隠れた世界を確実に理解する方法について不確実性が残る。実世界のシナリオで識別可能性を実践可能にするため、我々は相補的な視点を採用する：完全な識別可能性が達成できない一般的な設定において、何が保証付きで依然として復元可能であり、どのようなバイアスが普遍的に採用されうるか？我々はこの視点を形式化するため、多様な辞書学習問題を導入する。具体的には、任意の観測値に紐づく潜在変数の共通部分、補集合、対称差、および潜在変数から観測値への依存構造が、強い仮定がなくても適切な非決定性の範囲内で識別可能であることを示す。これらの集合論的結果は、集合代数を用いて構成することで、類差定義のような、隠れた世界の構造化され本質的な視点を構築するのに利用できる。構造的多様性が十分に存在する場合、これらはさらに全ての潜在変数の完全な識別可能性を暗示する。特筆すべきは、全ての識別可能性の利点が、推定時の単純な帰納的バイアスから得られ、ほとんどのモデルに容易に統合可能である点である。我々は、理論を検証し、このバイアスの利点を合成データおよび実世界のデータの両方で実証する。

English

Given only observational data X = g(Z), where both the latent variables Z and the generating process g are unknown, recovering Z is ill-posed without additional assumptions. Existing methods often assume linearity or rely on auxiliary supervision and functional constraints. However, such assumptions are rarely verifiable in practice, and most theoretical guarantees break down under even mild violations, leaving uncertainty about how to reliably understand the hidden world. To make identifiability actionable in the real-world scenarios, we take a complementary view: in the general settings where full identifiability is unattainable, what can still be recovered with guarantees, and what biases could be universally adopted? We introduce the problem of diverse dictionary learning to formalize this view. Specifically, we show that intersections, complements, and symmetric differences of latent variables linked to arbitrary observations, along with the latent-to-observed dependency structure, are still identifiable up to appropriate indeterminacies even without strong assumptions. These set-theoretic results can be composed using set algebra to construct structured and essential views of the hidden world, such as genus-differentia definitions. When sufficient structural diversity is present, they further imply full identifiability of all latent variables. Notably, all identifiability benefits follow from a simple inductive bias during estimation that can be readily integrated into most models. We validate the theory and demonstrate the benefits of the bias on both synthetic and real-world data.

多様な辞書学習

Diverse Dictionary Learning

要旨

Support