Da Representação Generalista à Representação Especialista

Resumo

Dado um modelo generalista, aprender uma representação especialista relevante para a tarefa é fundamental para aplicações downstream. A identificabilidade, a garantia assintótica de recuperar a representação verdadeira, é crítica porque estabelece o limite último de qualquer modelo, mesmo com dados e computação infinitos. Estudamos este problema em um ambiente completamente não paramétrico, sem depender de intervenções, formas paramétricas ou restrições estruturais. Primeiro, provamos que a estrutura entre passos temporais e tarefas é identificável de forma totalmente não supervisionada, mesmo quando as sequências carecem de dependência temporal estrita e podem exibir desconexões, e as atribuições de tarefas podem seguir estruturas arbitrariamente complexas e intercaladas. Em seguida, provamos que, dentro de cada passo temporal, a representação latente relevante para a tarefa pode ser separada da parte irrelevante sob uma simples regularização de esparsidade, sem qualquer informação adicional ou restrições paramétricas. Juntos, esses resultados estabelecem uma base hierárquica: a estrutura da tarefa é identificável através dos passos temporais, e as representações latentes relevantes para a tarefa são identificáveis dentro de cada passo. Até onde sabemos, cada resultado fornece uma primeira garantia geral de identificabilidade não paramétrica e, juntos, representam um passo em direção à transição comprovável de modelos generalistas para especialistas.

English

Given a generalist model, learning a task-relevant specialist representation is fundamental for downstream applications. Identifiability, the asymptotic guarantee of recovering the ground-truth representation, is critical because it sets the ultimate limit of any model, even with infinite data and computation. We study this problem in a completely nonparametric setting, without relying on interventions, parametric forms, or structural constraints. We first prove that the structure between time steps and tasks is identifiable in a fully unsupervised manner, even when sequences lack strict temporal dependence and may exhibit disconnections, and task assignments can follow arbitrarily complex and interleaving structures. We then prove that, within each time step, the task-relevant latent representation can be disentangled from the irrelevant part under a simple sparsity regularization, without any additional information or parametric constraints. Together, these results establish a hierarchical foundation: task structure is identifiable across time steps, and task-relevant latent representations are identifiable within each step. To our knowledge, each result provides a first general nonparametric identifiability guarantee, and together they mark a step toward provably moving from generalist to specialist models.