Разностороннее обучение словарям

Аннотация

Имея только наблюдаемые данные X = g(Z), где как скрытые переменные Z, так и процесс их порождения g неизвестны, восстановление Z является некорректной задачей без дополнительных предположений. Существующие методы часто предполагают линейность или опираются на вспомогательную разметку и функциональные ограничения. Однако такие предположения редко поддаются проверке на практике, и большинство теоретических гарантий нарушаются даже при незначительных их нарушениях, что оставляет неопределенность в вопросе о том, как надежно понять скрытый мир. Чтобы сделать идентифицируемость практически применимой в реальных сценариях, мы предлагаем дополнительный взгляд: в общих условиях, когда полная идентифицируемость недостижима, что все еще можно восстановить с гарантиями и какие систематические смещения можно универсально принять? Мы вводим задачу обучения по разнородному словарю для формализации этого подхода. В частности, мы показываем, что пересечения, дополнения и симметрические разности латентных переменных, связанных с произвольными наблюдениями, вместе со структурой зависимостей «латентное-наблюдаемое» остаются идентифицируемыми с точностью до соответствующих неопределенностей даже без строгих предположений. Эти теоретико-множественные результаты можно комбинировать с помощью алгебры множеств для построения структурированных и существенных представлений о скрытом мире, таких как родовидовые определения. При наличии достаточного структурного разнообразия они также подразумевают полную идентифицируемость всех латентных переменных. Примечательно, что все преимущества идентифицируемости следуют из простой индуктивной предвзятости в процессе оценки, которую можно легко интегрировать в большинство моделей. Мы проверяем теорию и демонстрируем преимущества такого смещения на синтетических и реальных данных.

English

Given only observational data X = g(Z), where both the latent variables Z and the generating process g are unknown, recovering Z is ill-posed without additional assumptions. Existing methods often assume linearity or rely on auxiliary supervision and functional constraints. However, such assumptions are rarely verifiable in practice, and most theoretical guarantees break down under even mild violations, leaving uncertainty about how to reliably understand the hidden world. To make identifiability actionable in the real-world scenarios, we take a complementary view: in the general settings where full identifiability is unattainable, what can still be recovered with guarantees, and what biases could be universally adopted? We introduce the problem of diverse dictionary learning to formalize this view. Specifically, we show that intersections, complements, and symmetric differences of latent variables linked to arbitrary observations, along with the latent-to-observed dependency structure, are still identifiable up to appropriate indeterminacies even without strong assumptions. These set-theoretic results can be composed using set algebra to construct structured and essential views of the hidden world, such as genus-differentia definitions. When sufficient structural diversity is present, they further imply full identifiability of all latent variables. Notably, all identifiability benefits follow from a simple inductive bias during estimation that can be readily integrated into most models. We validate the theory and demonstrate the benefits of the bias on both synthetic and real-world data.

Разностороннее обучение словарям

Diverse Dictionary Learning

Аннотация

Support