SimpleFold: Proteinfaltung ist einfacher als man denkt

SimpleFold: Folding Proteins is Simpler than You Think

September 23, 2025

papers.authors: Yuyang Wang, Jiarui Lu, Navdeep Jaitly, Josh Susskind, Miguel Angel Bautista

cs.AI

papers.abstract

Protein-Folding-Modelle haben bahnbrechende Ergebnisse erzielt, typischerweise durch eine Kombination aus der Integration von Domänenwissen in die Architekturbausteine und die Trainingspipeline. Angesichts des Erfolgs generativer Modelle bei verschiedenen, aber verwandten Problemen stellt sich jedoch die Frage, ob diese architektonischen Entwürfe eine notwendige Voraussetzung für die Entwicklung leistungsstarker Modelle sind. In diesem Artikel stellen wir SimpleFold vor, das erste auf Flow-Matching basierende Protein-Folding-Modell, das ausschließlich allgemeine Transformer-Blöcke verwendet. Protein-Folding-Modelle setzen typischerweise rechenintensive Module ein, die dreieckige Updates, explizite Paardarstellungen oder mehrere, speziell für diese Domäne kuratierte Trainingsziele beinhalten. Stattdessen verwendet SimpleFlow standardmäßige Transformer-Blöcke mit adaptiven Schichten und wird über ein generatives Flow-Matching-Ziel mit einem zusätzlichen strukturellen Term trainiert. Wir skalieren SimpleFold auf 3 Milliarden Parameter und trainieren es auf etwa 9 Millionen destillierten Proteinstrukturen zusammen mit experimentellen PDB-Daten. Bei Standard-Folding-Benchmarks erreicht SimpleFold-3B eine wettbewerbsfähige Leistung im Vergleich zu state-of-the-art Baselines. Darüber hinaus zeigt SimpleFold eine starke Leistung bei der Ensemble-Vorhersage, die typischerweise für Modelle, die über deterministische Rekonstruktionsziele trainiert werden, schwierig ist. Aufgrund seiner allgemeinen Architektur zeigt SimpleFold Effizienz bei der Bereitstellung und Inferenz auf Consumer-Hardware. SimpleFold stellt die Abhängigkeit von komplexen, domänenspezifischen Architekturentwürfen im Protein-Folding in Frage und eröffnet einen alternativen Gestaltungsraum für zukünftige Fortschritte.

English

Protein folding models have achieved groundbreaking results typically via a combination of integrating domain knowledge into the architectural blocks and training pipelines. Nonetheless, given the success of generative models across different but related problems, it is natural to question whether these architectural designs are a necessary condition to build performant models. In this paper, we introduce SimpleFold, the first flow-matching based protein folding model that solely uses general purpose transformer blocks. Protein folding models typically employ computationally expensive modules involving triangular updates, explicit pair representations or multiple training objectives curated for this specific domain. Instead, SimpleFold employs standard transformer blocks with adaptive layers and is trained via a generative flow-matching objective with an additional structural term. We scale SimpleFold to 3B parameters and train it on approximately 9M distilled protein structures together with experimental PDB data. On standard folding benchmarks, SimpleFold-3B achieves competitive performance compared to state-of-the-art baselines, in addition SimpleFold demonstrates strong performance in ensemble prediction which is typically difficult for models trained via deterministic reconstruction objectives. Due to its general-purpose architecture, SimpleFold shows efficiency in deployment and inference on consumer-level hardware. SimpleFold challenges the reliance on complex domain-specific architectures designs in protein folding, opening up an alternative design space for future progress.