Apprendimento Dizionario Diversificato

Diverse Dictionary Learning

April 19, 2026

Autori: Yujia Zheng, Zijian Li, Shunxing Fan, Andrew Gordon Wilson, Kun Zhang

cs.AI

Abstract

Dato solo il dato osservativo X = g(Z), dove sia le variabili latenti Z che il processo generativo g sono sconosciuti, recuperare Z è un problema mal posto senza assunzioni aggiuntive. I metodi esistenti spesso assumono la linearità o si basano su supervisione ausiliaria e vincoli funzionali. Tuttavia, tali assunzioni sono raramente verificabili nella pratica, e la maggior parte delle garanzie teoriche crolla anche per lievi violazioni, lasciando incertezza su come comprendere in modo affidabile il mondo nascosto. Per rendere l'identificabilità attuabile in scenari reali, adottiamo una prospettiva complementare: negli scenari generali dove l'identificabilità completa è irraggiungibile, cosa si può ancora recuperare con garanzie, e quali distorsioni potrebbero essere universalmente adottate? Introduciamo il problema dell'apprendimento di dizionari diversificati per formalizzare questa visione. Nello specifico, dimostriamo che intersezioni, complementi e differenze simmetriche di variabili latenti collegate a osservazioni arbitrarie, insieme alla struttura di dipendenza latente-osservata, sono ancora identificabili fino a appropriate indeterminatezze anche senza forti assunzioni. Questi risultati insiemistici possono essere composti usando l'algebra degli insiemi per costruire visioni strutturate ed essenziali del mondo nascosto, come le definizioni genus-differentia. Quando è presente una sufficiente diversità strutturale, essi implicano ulteriormente la piena identificabilità di tutte le variabili latenti. Notevolmente, tutti i benefici di identificabilità derivano da un semplice bias induttivo durante la stima che può essere facilmente integrato nella maggior parte dei modelli. Convalidiamo la teoria e dimostriamo i benefici del bias sia su dati sintetici che reali.

English

Given only observational data X = g(Z), where both the latent variables Z and the generating process g are unknown, recovering Z is ill-posed without additional assumptions. Existing methods often assume linearity or rely on auxiliary supervision and functional constraints. However, such assumptions are rarely verifiable in practice, and most theoretical guarantees break down under even mild violations, leaving uncertainty about how to reliably understand the hidden world. To make identifiability actionable in the real-world scenarios, we take a complementary view: in the general settings where full identifiability is unattainable, what can still be recovered with guarantees, and what biases could be universally adopted? We introduce the problem of diverse dictionary learning to formalize this view. Specifically, we show that intersections, complements, and symmetric differences of latent variables linked to arbitrary observations, along with the latent-to-observed dependency structure, are still identifiable up to appropriate indeterminacies even without strong assumptions. These set-theoretic results can be composed using set algebra to construct structured and essential views of the hidden world, such as genus-differentia definitions. When sufficient structural diversity is present, they further imply full identifiability of all latent variables. Notably, all identifiability benefits follow from a simple inductive bias during estimation that can be readily integrated into most models. We validate the theory and demonstrate the benefits of the bias on both synthetic and real-world data.