SimpleFold: タンパク質のフォールディングはあなたが思うよりシンプル

要旨

タンパク質フォールディングモデルは、これまでドメイン知識をアーキテクチャブロックやトレーニングパイプラインに統合することで画期的な成果を上げてきました。しかし、関連する異なる問題において生成モデルが成功を収めていることを考えると、これらのアーキテクチャ設計が高性能なモデルを構築するための必要条件であるかどうか疑問を抱くのは自然なことです。本論文では、汎用トランスフォーマーブロックのみを使用した初のフローマッチングベースのタンパク質フォールディングモデルであるSimpleFoldを紹介します。通常、タンパク質フォールディングモデルは、三角更新、明示的なペア表現、またはこの特定のドメイン向けに調整された複数のトレーニング目標を含む計算コストの高いモジュールを採用しています。一方、SimpleFoldは適応層を備えた標準的なトランスフォーマーブロックを使用し、追加の構造項を含む生成フローマッチング目標でトレーニングされます。SimpleFoldを30億パラメータにスケールアップし、約900万の蒸留タンパク質構造と実験的PDBデータでトレーニングしました。標準的なフォールディングベンチマークにおいて、SimpleFold-3Bは最先端のベースラインと比較して競争力のある性能を達成し、さらに、決定論的再構成目標でトレーニングされたモデルでは通常難しいアンサンブル予測においても優れた性能を示します。汎用アーキテクチャのため、SimpleFoldは消費者向けハードウェアでの展開と推論において効率的です。SimpleFoldは、タンパク質フォールディングにおける複雑なドメイン固有のアーキテクチャ設計への依存に挑戦し、将来の進歩のための代替設計空間を切り開きます。

English

Protein folding models have achieved groundbreaking results typically via a combination of integrating domain knowledge into the architectural blocks and training pipelines. Nonetheless, given the success of generative models across different but related problems, it is natural to question whether these architectural designs are a necessary condition to build performant models. In this paper, we introduce SimpleFold, the first flow-matching based protein folding model that solely uses general purpose transformer blocks. Protein folding models typically employ computationally expensive modules involving triangular updates, explicit pair representations or multiple training objectives curated for this specific domain. Instead, SimpleFold employs standard transformer blocks with adaptive layers and is trained via a generative flow-matching objective with an additional structural term. We scale SimpleFold to 3B parameters and train it on approximately 9M distilled protein structures together with experimental PDB data. On standard folding benchmarks, SimpleFold-3B achieves competitive performance compared to state-of-the-art baselines, in addition SimpleFold demonstrates strong performance in ensemble prediction which is typically difficult for models trained via deterministic reconstruction objectives. Due to its general-purpose architecture, SimpleFold shows efficiency in deployment and inference on consumer-level hardware. SimpleFold challenges the reliance on complex domain-specific architectures designs in protein folding, opening up an alternative design space for future progress.

SimpleFold: タンパク質のフォールディングはあなたが思うよりシンプル

SimpleFold: Folding Proteins is Simpler than You Think

要旨

Support