タンパク質の自己回帰的モデリング：マルチスケール構造生成によるアプローチ
Protein Autoregressive Modeling via Multiscale Structure Generation
February 4, 2026
著者: Yanru Qu, Cheng-Yen Hsieh, Zaixiang Zheng, Ge Liu, Quanquan Gu
cs.AI
要旨
本論文では、タンパク質バックボーン生成のための初のマルチスケール自己回帰フレームワークであるProtein Autoregressive Modeling（PAR）を提案する。PARは、タンパク質の階層性を利用し、粗いトポロジーを形成した後、スケールを追って構造詳細を洗練させる、彫刻の制作過程に似た構造生成を実現する。これを実現するため、PARは以下の3つの主要コンポーネントで構成される：（i）訓練時に多スケールでタンパク質構造を表現するマルチスケールダウンサンプリング操作、（ii）マルチスケール情報を符号化し構造生成を誘導する条件付き埋め込みを生成する自己回帰型トランスフォーマー、（iii）これらの埋め込みを条件としてバックボーン原子を生成するフローベースのバックボーンデコーダー。さらに、訓練時と生成時の手順の不一致に起因する暴露バイアスは、構造生成の品質を大幅に低下させる既知の問題である。我々は、ノイジーコンテキスト学習とスケジュールドサンプリングを採用することでこの問題を効果的に緩和し、ロバストなバックボーン生成を可能にした。特筆すべきは、PARは強力なゼロショット一般化能力を示し、ファインチューニングを必要とせず、柔軟な人間指示による条件付き生成やモチーフスキャフォールディングをサポートする点である。無条件生成ベンチマークにおいて、PARはタンパク質分布を効果的に学習し、高い設計品質のバックボーンを生成するとともに、良好なスケーリング挙動を示した。これらの特性により、PARはタンパク質構造生成の有望なフレームワークとして位置づけられる。
English
We present protein autoregressive modeling (PAR), the first multi-scale autoregressive framework for protein backbone generation via coarse-to-fine next-scale prediction. Using the hierarchical nature of proteins, PAR generates structures that mimic sculpting a statue, forming a coarse topology and refining structural details over scales. To achieve this, PAR consists of three key components: (i) multi-scale downsampling operations that represent protein structures across multiple scales during training; (ii) an autoregressive transformer that encodes multi-scale information and produces conditional embeddings to guide structure generation; (iii) a flow-based backbone decoder that generates backbone atoms conditioned on these embeddings. Moreover, autoregressive models suffer from exposure bias, caused by the training and the generation procedure mismatch, and substantially degrades structure generation quality. We effectively alleviate this issue by adopting noisy context learning and scheduled sampling, enabling robust backbone generation. Notably, PAR exhibits strong zero-shot generalization, supporting flexible human-prompted conditional generation and motif scaffolding without requiring fine-tuning. On the unconditional generation benchmark, PAR effectively learns protein distributions and produces backbones of high design quality, and exhibits favorable scaling behavior. Together, these properties establish PAR as a promising framework for protein structure generation.