Modelagem Autorregressiva de Proteínas via Geração de Estruturas Multiescala

Protein Autoregressive Modeling via Multiscale Structure Generation

February 4, 2026

Autores: Yanru Qu, Cheng-Yen Hsieh, Zaixiang Zheng, Ge Liu, Quanquan Gu

cs.AI

Resumo

Apresentamos a modelagem autoregressiva de proteínas (PAR), a primeira estrutura autoregressiva multiescala para geração de backbone proteico por meio de predição próxima-à-escala do grosso para o refinado. Utilizando a natureza hierárquica das proteínas, a PAR gera estruturas que imitam o esculpir de uma estátua, formando uma topologia grosseira e refinando detalhes estruturais ao longo das escalas. Para alcançar isto, a PAR consiste em três componentes-chave: (i) operações de redução de amostragem multiescala que representam estruturas proteicas em múltiplas escalas durante o treinamento; (ii) um transformer autoregressivo que codifica informações multiescala e produz *embeddings* condicionais para guiar a geração de estruturas; (iii) um decodificador de backbone baseado em fluxo que gera átomos do backbone condicionados a esses *embeddings*. Adicionalmente, modelos autoregressivos sofrem de *exposure bias*, causado pela discrepância entre o procedimento de treinamento e o de geração, o que degrada substancialmente a qualidade da geração de estruturas. Nós aliviamos efetivamente este problema adotando aprendizado de contexto ruidoso e amostragem programada, permitindo uma geração de backbone robusta. Notavelmente, a PAR exibe forte generalização *zero-shot*, suportando geração condicional flexível com prompts humanos e *scaffolding* de motivos sem a necessidade de *fine-tuning*. No *benchmark* de geração incondicional, a PAR aprende efetivamente as distribuições de proteínas e produz backbones de alta qualidade de projeto, além de exibir comportamento de escalonamento favorável. Em conjunto, estas propriedades estabelecem a PAR como uma estrutura promissora para a geração de estruturas proteicas.

English

We present protein autoregressive modeling (PAR), the first multi-scale autoregressive framework for protein backbone generation via coarse-to-fine next-scale prediction. Using the hierarchical nature of proteins, PAR generates structures that mimic sculpting a statue, forming a coarse topology and refining structural details over scales. To achieve this, PAR consists of three key components: (i) multi-scale downsampling operations that represent protein structures across multiple scales during training; (ii) an autoregressive transformer that encodes multi-scale information and produces conditional embeddings to guide structure generation; (iii) a flow-based backbone decoder that generates backbone atoms conditioned on these embeddings. Moreover, autoregressive models suffer from exposure bias, caused by the training and the generation procedure mismatch, and substantially degrades structure generation quality. We effectively alleviate this issue by adopting noisy context learning and scheduled sampling, enabling robust backbone generation. Notably, PAR exhibits strong zero-shot generalization, supporting flexible human-prompted conditional generation and motif scaffolding without requiring fine-tuning. On the unconditional generation benchmark, PAR effectively learns protein distributions and produces backbones of high design quality, and exhibits favorable scaling behavior. Together, these properties establish PAR as a promising framework for protein structure generation.