Grootschalige Multi-omische Biosequentie Transformers voor het Modelleren van Peptide-Nucleotide Interacties

Large-Scale Multi-omic Biosequence Transformers for Modeling Peptide-Nucleotide Interactions

August 29, 2024

Auteurs: Sully F. Chen, Robert J. Steele, Beakal Lemeneh, Shivanand P. Lad, Eric Oermann

cs.AI

Samenvatting

De transformer-architectuur heeft een revolutie teweeggebracht in de bioinformatica en heeft vooruitgang gestimuleerd in het begrijpen en voorspellen van de eigenschappen van biomoleculen. Bijna al het onderzoek naar grootschalige biosequentie-transformers heeft zich gericht op één domein tegelijk (single-omisch), meestal nucleotiden of peptiden. Deze modellen hebben een ongelooflijk succes geboekt in downstream-taken binnen elk domein en hebben vooral opmerkelijke doorbraken bereikt in sequenties van peptiden en structurele modellering. Echter, deze single-omische modellen zijn van nature niet in staat om multi-omische taken te modelleren, waarvan een van de biologisch meest kritische de interacties tussen nucleotiden en peptiden is. Wij presenteren ons werk aan de eerste multi-omische nucleotide-peptide foundation-modellen. We laten zien dat deze multi-omische modellen (MOMs) gezamenlijke representaties kunnen leren tussen verschillende single-omische verdelingen die emergent consistent zijn met de Centrale Dogma van de moleculaire biologie, ondanks dat ze alleen getraind zijn op ongelabelde biosequenties. We demonstreren verder dat MOMs kunnen worden gefinetuned om state-of-the-art resultaten te behalen bij taken gericht op peptide-nucleotide-interacties, namelijk het voorspellen van de verandering in Gibbs vrije energie ({\Delta}G) van de bindingsinteractie tussen een gegeven oligonucleotide en peptide, evenals het effect op deze bindingsinteractie door mutaties in de oligonucleotidesequentie ({\Delta}{\Delta}G). Opmerkelijk genoeg laten we zien dat multi-omische biosequentie-transformers emergent nuttige structurele informatie leren zonder enige voorafgaande structurele training, waardoor we kunnen voorspellen welke peptide-residuen het meest betrokken zijn bij de peptide-nucleotide-bindingsinteractie. Tot slot leveren we bewijs dat multi-omische biosequentiemodellen niet inferieur zijn aan foundation-modellen die getraind zijn op single-omische verdelingen, wat suggereert dat een meer gegeneraliseerde of fundamentele aanpak geschikt is voor het bouwen van deze modellen.

English

The transformer architecture has revolutionized bioinformatics and driven progress in the understanding and prediction of the properties of biomolecules. Almost all research on large-scale biosequence transformers has focused on one domain at a time (single-omic), usually nucleotides or peptides. These models have seen incredible success in downstream tasks in each domain and have achieved particularly noteworthy breakthroughs in sequences of peptides and structural modeling. However, these single-omic models are naturally incapable of modeling multi-omic tasks, one of the most biologically critical being nucleotide-peptide interactions. We present our work training the first multi-omic nucleotide-peptide foundation models. We show that these multi-omic models (MOMs) can learn joint representations between various single-omic distributions that are emergently consistent with the Central Dogma of molecular biology, despite only being trained on unlabeled biosequences. We further demonstrate that MOMs can be fine-tuned to achieve state-of-the-art results on peptide-nucleotide interaction tasks, namely predicting the change in Gibbs free energy ({\Delta}G) of the binding interaction between a given oligonucleotide and peptide, as well as the effect on this binding interaction due to mutations in the oligonucleotide sequence ({\Delta}{\Delta}G). Remarkably, we show that multi-omic biosequence transformers emergently learn useful structural information without any prior structural training, allowing us to predict which peptide residues are most involved in the peptide-nucleotide binding interaction. Lastly, we provide evidence that multi-omic biosequence models are non-inferior to foundation models trained on single-omics distributions, suggesting a more generalized or foundational approach to building these models.