Trasformatori biosequenziali multi-omici su larga scala per modellare le interazioni peptidi-nucleotidi

Large-Scale Multi-omic Biosequence Transformers for Modeling Peptide-Nucleotide Interactions

August 29, 2024

Autori: Sully F. Chen, Robert J. Steele, Beakal Lemeneh, Shivanand P. Lad, Eric Oermann

cs.AI

Abstract

L'architettura del transformer ha rivoluzionato la bioinformatica e ha guidato il progresso nella comprensione e previsione delle proprietà delle biomolecole. Quasi tutta la ricerca sui transformer di biosequenze su larga scala si è concentrata su un dominio alla volta (singolo-omico), di solito nucleotidi o peptidi. Questi modelli hanno ottenuto un incredibile successo in compiti successivi in ciascun dominio e hanno raggiunto particolari e significativi progressi nelle sequenze di peptidi e nella modellazione strutturale. Tuttavia, questi modelli singolo-omici sono naturalmente incapaci di modellare compiti multi-omici, uno dei più critici biologicamente essendo le interazioni nucleotide-peptide. Presentiamo il nostro lavoro di addestramento dei primi modelli fondamentali multi-omici nucleotide-peptide. Mostreremo che questi modelli multi-omici (MOMs) possono apprendere rappresentazioni congiunte tra varie distribuzioni singolo-omiche che emergono in modo coerente con il Dogma Centrale della biologia molecolare, nonostante siano stati addestrati solo su biosequenze non etichettate. Dimostriamo inoltre che i MOMs possono essere raffinati per ottenere risultati all'avanguardia nei compiti di interazione peptide-nucleotide, in particolare la previsione della variazione dell'energia libera di Gibbs ({\Delta}G) dell'interazione di legame tra un dato oligonucleotide e un peptide, nonché l'effetto su questa interazione di legame dovuto a mutazioni nella sequenza dell'oligonucleotide ({\Delta}{\Delta}G). In modo sorprendente, mostriamo che i transformer di biosequenze multi-omici apprendono emergentemente informazioni strutturali utili senza alcun addestramento strutturale precedente, consentendoci di prevedere quali residui di peptidi sono più coinvolti nell'interazione di legame peptide-nucleotide. Infine, forniamo prove che i modelli di biosequenze multi-omici non sono inferiori ai modelli fondamentali addestrati su distribuzioni singolo-omiche, suggerendo un approccio più generalizzato o fondamentale alla costruzione di questi modelli.

English

The transformer architecture has revolutionized bioinformatics and driven progress in the understanding and prediction of the properties of biomolecules. Almost all research on large-scale biosequence transformers has focused on one domain at a time (single-omic), usually nucleotides or peptides. These models have seen incredible success in downstream tasks in each domain and have achieved particularly noteworthy breakthroughs in sequences of peptides and structural modeling. However, these single-omic models are naturally incapable of modeling multi-omic tasks, one of the most biologically critical being nucleotide-peptide interactions. We present our work training the first multi-omic nucleotide-peptide foundation models. We show that these multi-omic models (MOMs) can learn joint representations between various single-omic distributions that are emergently consistent with the Central Dogma of molecular biology, despite only being trained on unlabeled biosequences. We further demonstrate that MOMs can be fine-tuned to achieve state-of-the-art results on peptide-nucleotide interaction tasks, namely predicting the change in Gibbs free energy ({\Delta}G) of the binding interaction between a given oligonucleotide and peptide, as well as the effect on this binding interaction due to mutations in the oligonucleotide sequence ({\Delta}{\Delta}G). Remarkably, we show that multi-omic biosequence transformers emergently learn useful structural information without any prior structural training, allowing us to predict which peptide residues are most involved in the peptide-nucleotide binding interaction. Lastly, we provide evidence that multi-omic biosequence models are non-inferior to foundation models trained on single-omics distributions, suggesting a more generalized or foundational approach to building these models.