Protein-Autoregressive Modellierung durch Multiskalen-Strukturgenerierung

Protein Autoregressive Modeling via Multiscale Structure Generation

February 4, 2026

papers.authors: Yanru Qu, Cheng-Yen Hsieh, Zaixiang Zheng, Ge Liu, Quanquan Gu

cs.AI

papers.abstract

Wir stellen Protein-Autoregressive Modeling (PAR) vor, das erste multiskalige autoregressive Framework zur Generierung von Proteinrückgraten durch grob- bis feinkörnige Next-Scale-Prädiktion. Unter Nutzung der hierarchischen Natur von Proteinen erzeugt PAR Strukturen, die der Bildhauerei einer Statue ähneln – es formt eine grobe Topologie und verfeinert strukturelle Details über Skalen hinweg. Um dies zu erreichen, besteht PAR aus drei Schlüsselkomponenten: (i) Multiskalen-Downsampling-Operationen, die Proteinstrukturen während des Trainings über mehrere Skalen hinweg repräsentieren; (ii) ein autoregressiver Transformer, der Multiskalen-Informationen kodiert und konditionale Embeddings zur Steuerung der Strukturgenerierung erzeugt; (iii) ein flow-basierter Rückgrat-Decoder, der Rückgrat-Atome konditioniert auf diese Embeddings generiert. Darüber hinaus leiden autoregressive Modelle unter Exposure Bias, der durch die Diskrepanz zwischen Trainings- und Generierungsprozedur verursacht wird und die Qualität der Strukturgenerierung erheblich beeinträchtigt. Wir mildern dieses Problem effektiv durch noisy context learning und scheduled sampling, was eine robuste Rückgratgenerierung ermöglicht. Bemerkenswerterweise zeigt PAR eine starke Zero-Shot-Generalisation, unterstützt flexible, menschlich gesteuerte konditionale Generierung und Motif-Scaffolding ohne Feinabstimmung. Im Benchmark für unkonditionale Generierung lernt PAR effektiv Proteinverteilungen, erzeugt Rückgrate hoher Designqualität und zeigt ein günstiges Skalierungsverhalten. Zusammengenommen etablieren diese Eigenschaften PAR als vielversprechendes Framework für die Proteinstrukturgenerierung.

English

We present protein autoregressive modeling (PAR), the first multi-scale autoregressive framework for protein backbone generation via coarse-to-fine next-scale prediction. Using the hierarchical nature of proteins, PAR generates structures that mimic sculpting a statue, forming a coarse topology and refining structural details over scales. To achieve this, PAR consists of three key components: (i) multi-scale downsampling operations that represent protein structures across multiple scales during training; (ii) an autoregressive transformer that encodes multi-scale information and produces conditional embeddings to guide structure generation; (iii) a flow-based backbone decoder that generates backbone atoms conditioned on these embeddings. Moreover, autoregressive models suffer from exposure bias, caused by the training and the generation procedure mismatch, and substantially degrades structure generation quality. We effectively alleviate this issue by adopting noisy context learning and scheduled sampling, enabling robust backbone generation. Notably, PAR exhibits strong zero-shot generalization, supporting flexible human-prompted conditional generation and motif scaffolding without requiring fine-tuning. On the unconditional generation benchmark, PAR effectively learns protein distributions and produces backbones of high design quality, and exhibits favorable scaling behavior. Together, these properties establish PAR as a promising framework for protein structure generation.