Transformadores de Biosecuencias Multi-ómicas a Gran Escala para Modelar Interacciones Péptido-Nucleótido

Large-Scale Multi-omic Biosequence Transformers for Modeling Peptide-Nucleotide Interactions

August 29, 2024

Autores: Sully F. Chen, Robert J. Steele, Beakal Lemeneh, Shivanand P. Lad, Eric Oermann

cs.AI

Resumen

La arquitectura del transformador ha revolucionado la bioinformática y ha impulsado el progreso en la comprensión y predicción de las propiedades de las biomoléculas. Casi toda la investigación sobre transformadores de biosecuencias a gran escala se ha centrado en un dominio a la vez (único-ómico), generalmente nucleótidos o péptidos. Estos modelos han tenido un éxito increíble en tareas posteriores en cada dominio y han logrado avances particularmente notables en secuencias de péptidos y modelado estructural. Sin embargo, estos modelos únicos-ómicos son naturalmente incapaces de modelar tareas multiómicas, una de las más críticas biológicamente siendo las interacciones nucleótido-péptido. Presentamos nuestro trabajo entrenando los primeros modelos fundacionales multiómicos nucleótido-péptido. Mostramos que estos modelos multiómicos (MOMs) pueden aprender representaciones conjuntas entre varias distribuciones únicas-ómicas que emergen consistentemente con el Dogma Central de la biología molecular, a pesar de ser entrenados solo en biosecuencias no etiquetadas. Además, demostramos que los MOMs pueden ser ajustados finamente para lograr resultados de vanguardia en tareas de interacción péptido-nucleótido, específicamente prediciendo el cambio en la energía libre de Gibbs ({\Delta}G) de la interacción de un oligonucleótido dado y un péptido, así como el efecto en esta interacción de unión debido a mutaciones en la secuencia del oligonucleótido ({\Delta}{\Delta}G). Notablemente, mostramos que los transformadores de biosecuencias multiómicos aprenden emergentemente información estructural útil sin ningún entrenamiento estructural previo, lo que nos permite predecir qué residuos de péptidos están más involucrados en la interacción de unión péptido-nucleótido. Por último, proporcionamos evidencia de que los modelos de biosecuencias multiómicos no son inferiores a los modelos fundacionales entrenados en distribuciones únicas-ómicas, lo que sugiere un enfoque más generalizado o fundamental para construir estos modelos.

English

The transformer architecture has revolutionized bioinformatics and driven progress in the understanding and prediction of the properties of biomolecules. Almost all research on large-scale biosequence transformers has focused on one domain at a time (single-omic), usually nucleotides or peptides. These models have seen incredible success in downstream tasks in each domain and have achieved particularly noteworthy breakthroughs in sequences of peptides and structural modeling. However, these single-omic models are naturally incapable of modeling multi-omic tasks, one of the most biologically critical being nucleotide-peptide interactions. We present our work training the first multi-omic nucleotide-peptide foundation models. We show that these multi-omic models (MOMs) can learn joint representations between various single-omic distributions that are emergently consistent with the Central Dogma of molecular biology, despite only being trained on unlabeled biosequences. We further demonstrate that MOMs can be fine-tuned to achieve state-of-the-art results on peptide-nucleotide interaction tasks, namely predicting the change in Gibbs free energy ({\Delta}G) of the binding interaction between a given oligonucleotide and peptide, as well as the effect on this binding interaction due to mutations in the oligonucleotide sequence ({\Delta}{\Delta}G). Remarkably, we show that multi-omic biosequence transformers emergently learn useful structural information without any prior structural training, allowing us to predict which peptide residues are most involved in the peptide-nucleotide binding interaction. Lastly, we provide evidence that multi-omic biosequence models are non-inferior to foundation models trained on single-omics distributions, suggesting a more generalized or foundational approach to building these models.