Modellazione Autoregressiva delle Proteine tramite Generazione di Strutture Multiscala

Protein Autoregressive Modeling via Multiscale Structure Generation

February 4, 2026

Autori: Yanru Qu, Cheng-Yen Hsieh, Zaixiang Zheng, Ge Liu, Quanquan Gu

cs.AI

Abstract

Presentiamo la modellazione autoregressiva proteica (PAR), il primo framework autoregressivo multi-scala per la generazione dello scheletro proteico tramite predizione next-scale da grossolana a fine. Sfruttando la natura gerarchica delle proteine, PAR genera strutture che mimano la scultura di una statua, formando una topologia grossolana e perfezionando i dettagli strutturali attraverso le scale. Per ottenere ciò, PAR è composto da tre elementi chiave: (i) operazioni di downsampling multi-scala che rappresentano le strutture proteiche a scale multiple durante l'addestramento; (ii) un trasformatore autoregressivo che codifica le informazioni multi-scala e produce embedding condizionali per guidare la generazione strutturale; (iii) un decoder dello scheletro basato su flussi che genera atomi dello scheletro condizionati da questi embedding. Inoltre, i modelli autoregressivi soffrono di exposure bias, causato dalla discrepanza tra la procedura di addestramento e quella di generazione, che degrada sostanzialmente la qualità della generazione strutturale. Mitighiamo efficacemente questo problema adottando l'apprendimento con contesto rumoroso e il campionamento programmato, consentendo una generazione robusta dello scheletro. Notevolmente, PAR mostra una forte generalizzazione zero-shot, supportando una generazione condizionata flessibile guidata dall'uomo e lo scaffolding di motivi senza richiedere fine-tuning. Sul benchmark di generazione incondizionata, PAR apprende efficacemente le distribuzioni proteiche e produce scheletri di alta qualità progettuale, mostrando un comportamento di scaling favorevole. Nel complesso, queste proprietà stabiliscono PAR come un framework promettente per la generazione di strutture proteiche.

English

We present protein autoregressive modeling (PAR), the first multi-scale autoregressive framework for protein backbone generation via coarse-to-fine next-scale prediction. Using the hierarchical nature of proteins, PAR generates structures that mimic sculpting a statue, forming a coarse topology and refining structural details over scales. To achieve this, PAR consists of three key components: (i) multi-scale downsampling operations that represent protein structures across multiple scales during training; (ii) an autoregressive transformer that encodes multi-scale information and produces conditional embeddings to guide structure generation; (iii) a flow-based backbone decoder that generates backbone atoms conditioned on these embeddings. Moreover, autoregressive models suffer from exposure bias, caused by the training and the generation procedure mismatch, and substantially degrades structure generation quality. We effectively alleviate this issue by adopting noisy context learning and scheduled sampling, enabling robust backbone generation. Notably, PAR exhibits strong zero-shot generalization, supporting flexible human-prompted conditional generation and motif scaffolding without requiring fine-tuning. On the unconditional generation benchmark, PAR effectively learns protein distributions and produces backbones of high design quality, and exhibits favorable scaling behavior. Together, these properties establish PAR as a promising framework for protein structure generation.