HyenaDNA: Genoomsequentiemodellering op lange afstand met enkelvoudige nucleotide-resolutie

Samenvatting

Genomische (DNA) sequenties coderen een enorme hoeveelheid informatie voor genregulatie en eiwitsynthese. Vergelijkbaar met modellen voor natuurlijke taal, hebben onderzoekers foundation-modellen in de genomica voorgesteld om generaliseerbare kenmerken te leren uit ongelabelde genoomgegevens, die vervolgens kunnen worden afgestemd voor downstream taken, zoals het identificeren van regulatoire elementen. Vanwege de kwadratische schaling van aandacht, hebben eerdere Transformer-gebaseerde genomische modellen 512 tot 4k tokens gebruikt als context (<0,001% van het menselijk genoom), wat het modelleren van langetermijninteracties in DNA aanzienlijk beperkt. Bovendien vertrouwen deze methoden op tokenizers om betekenisvolle DNA-eenheden te aggregeren, waardoor de resolutie van individuele nucleotiden verloren gaat, waar subtiele genetische variaties de eiwitfunctie volledig kunnen veranderen via enkelvoudige nucleotide polymorfismen (SNPs). Onlangs is aangetoond dat Hyena, een groot taalmodel gebaseerd op impliciete convoluties, de kwaliteit van aandacht evenaart terwijl het langere contextlengtes en een lagere tijdcomplexiteit mogelijk maakt. Gebruikmakend van de nieuwe langetermijnmogelijkheden van Hyena, presenteren we HyenaDNA, een genomisch foundation-model vooraf getraind op het menselijke referentiegenoom met contextlengtes van tot 1 miljoen tokens op het niveau van individuele nucleotiden, een tot 500-voudige toename ten opzichte van eerdere dichte aandacht-gebaseerde modellen. HyenaDNA schaalt subkwadratisch in sequentielengte (tot 160x sneller trainen dan Transformer), gebruikt individuele nucleotide tokens en heeft volledige globale context in elke laag. We onderzoeken wat langere context mogelijk maakt - inclusief het eerste gebruik van in-context leren in de genomica voor eenvoudige aanpassing aan nieuwe taken zonder de vooraf getrainde modelgewichten bij te werken. Op afgestemde benchmarks van de Nucleotide Transformer bereikt HyenaDNA state-of-the-art (SotA) op 12 van de 17 datasets met een model dat ordes van grootte minder parameters en vooraf getrainde gegevens gebruikt. Op de GenomicBenchmarks overtreft HyenaDNA SotA op alle 8 datasets gemiddeld met +9 nauwkeurigheidspunten.

English

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyenas new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level, an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics for simple adaptation to novel tasks without updating pretrained model weights. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 17 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on all 8 datasets on average by +9 accuracy points.

HyenaDNA: Genoomsequentiemodellering op lange afstand met enkelvoudige nucleotide-resolutie

HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

Samenvatting

Support