SimpleFold: Сворачивание белков проще, чем вы думаете

SimpleFold: Folding Proteins is Simpler than You Think

September 23, 2025

Авторы: Yuyang Wang, Jiarui Lu, Navdeep Jaitly, Josh Susskind, Miguel Angel Bautista

cs.AI

Аннотация

Модели предсказания структуры белков достигли революционных результатов, как правило, за счет интеграции предметных знаний в архитектурные блоки и обучающие конвейеры. Тем не менее, учитывая успехи генеративных моделей в решении различных, но связанных задач, естественно задаться вопросом, являются ли эти архитектурные решения необходимым условием для создания эффективных моделей. В данной статье мы представляем SimpleFold — первую модель предсказания структуры белков, основанную на методе согласования потоков и использующую исключительно универсальные трансформерные блоки. Обычно модели предсказания структуры белков включают вычислительно затратные модули, такие как треугольные обновления, явные представления пар или множественные обучающие цели, адаптированные для этой конкретной области. Вместо этого SimpleFold использует стандартные трансформерные блоки с адаптивными слоями и обучается с помощью генеративного метода согласования потоков с дополнительным структурным термином. Мы масштабируем SimpleFold до 3 миллиардов параметров и обучаем её на примерно 9 миллионах дистиллированных структур белков вместе с экспериментальными данными из PDB. На стандартных бенчмарках предсказания структуры белков SimpleFold-3B демонстрирует конкурентоспособную производительность по сравнению с современными базовыми моделями. Кроме того, SimpleFold показывает высокую эффективность в ансамблевом предсказании, что обычно является сложной задачей для моделей, обученных с использованием детерминированных реконструкционных целей. Благодаря своей универсальной архитектуре, SimpleFold демонстрирует эффективность в развертывании и выводе на потребительском оборудовании. SimpleFold ставит под сомнение необходимость сложных архитектурных решений, специфичных для области предсказания структуры белков, открывая альтернативное пространство для будущих разработок.

English

Protein folding models have achieved groundbreaking results typically via a combination of integrating domain knowledge into the architectural blocks and training pipelines. Nonetheless, given the success of generative models across different but related problems, it is natural to question whether these architectural designs are a necessary condition to build performant models. In this paper, we introduce SimpleFold, the first flow-matching based protein folding model that solely uses general purpose transformer blocks. Protein folding models typically employ computationally expensive modules involving triangular updates, explicit pair representations or multiple training objectives curated for this specific domain. Instead, SimpleFold employs standard transformer blocks with adaptive layers and is trained via a generative flow-matching objective with an additional structural term. We scale SimpleFold to 3B parameters and train it on approximately 9M distilled protein structures together with experimental PDB data. On standard folding benchmarks, SimpleFold-3B achieves competitive performance compared to state-of-the-art baselines, in addition SimpleFold demonstrates strong performance in ensemble prediction which is typically difficult for models trained via deterministic reconstruction objectives. Due to its general-purpose architecture, SimpleFold shows efficiency in deployment and inference on consumer-level hardware. SimpleFold challenges the reliance on complex domain-specific architectures designs in protein folding, opening up an alternative design space for future progress.