HyenaDNA: Modellazione di Sequenze Genomiche a Lungo Raggio con Risoluzione a Singolo Nucleotide

Abstract

Le sequenze genomiche (DNA) codificano un'enorme quantità di informazioni per la regolazione genica e la sintesi proteica. Similmente ai modelli di linguaggio naturale, i ricercatori hanno proposto modelli di base (foundation models) in genomica per apprendere caratteristiche generalizzabili da dati genomici non etichettati, che possono poi essere affinati per compiti specifici come l'identificazione di elementi regolatori. A causa della scala quadratica dell'attenzione, i precedenti modelli genomici basati su Transformer hanno utilizzato contesti da 512 a 4k token (<0,001% del genoma umano), limitando significativamente la modellazione delle interazioni a lungo raggio nel DNA. Inoltre, questi metodi si affidano a tokenizer per aggregare unità di DNA significative, perdendo la risoluzione a singolo nucleotide, dove sottili variazioni genetiche possono alterare completamente la funzione proteica attraverso polimorfismi a singolo nucleotide (SNP). Recentemente, Hyena, un modello di linguaggio di grandi dimensioni basato su convoluzioni implicite, ha dimostrato di eguagliare la qualità dell'attenzione consentendo contesti più lunghi e una complessità temporale inferiore. Sfruttando le nuove capacità a lungo raggio di Hyena, presentiamo HyenaDNA, un modello di base genomico pre-addestrato sul genoma di riferimento umano con contesti fino a 1 milione di token a livello di singolo nucleotide, un aumento fino a 500 volte rispetto ai precedenti modelli basati su attenzione densa. HyenaDNA scala in modo sub-quadratico rispetto alla lunghezza della sequenza (addestrandosi fino a 160 volte più velocemente di un Transformer), utilizza token a singolo nucleotide e ha un contesto globale completo in ogni livello. Esploriamo ciò che un contesto più lungo consente, incluso il primo utilizzo dell'apprendimento in-context in genomica per un adattamento semplice a nuovi compiti senza aggiornare i pesi del modello pre-addestrato. Su benchmark affinati dal Nucleotide Transformer, HyenaDNA raggiunge lo stato dell'arte (SotA) su 12 dei 17 dataset utilizzando un modello con ordini di grandezza meno parametri e dati di pre-addestramento. Su GenomicBenchmarks, HyenaDNA supera lo SotA su tutti gli 8 dataset in media di +9 punti di accuratezza.

English

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyenas new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level, an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics for simple adaptation to novel tasks without updating pretrained model weights. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 17 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on all 8 datasets on average by +9 accuracy points.

HyenaDNA: Modellazione di Sequenze Genomiche a Lungo Raggio con Risoluzione a Singolo Nucleotide

HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

Abstract

Support