HyenaDNA : Modélisation de séquences génomiques à longue portée avec une résolution au niveau du nucléotide unique

Résumé

Les séquences génomiques (ADN) encodent une quantité considérable d'informations pour la régulation des gènes et la synthèse des protéines. À l'instar des modèles de langage naturel, les chercheurs ont proposé des modèles de fondation en génomique pour apprendre des caractéristiques généralisables à partir de données génomiques non annotées, qui peuvent ensuite être affinées pour des tâches en aval telles que l'identification d'éléments régulateurs. En raison de la complexité quadratique de l'attention, les modèles génomiques basés sur les Transformers précédents ont utilisé des contextes de 512 à 4 000 tokens (<0,001 % du génome humain), limitant considérablement la modélisation des interactions à longue portée dans l'ADN. De plus, ces méthodes s'appuient sur des tokenizers pour agréger des unités d'ADN significatives, perdant ainsi la résolution au niveau du nucléotide unique, où des variations génétiques subtiles peuvent complètement altérer la fonction des protéines via des polymorphismes mononucléotidiques (SNPs). Récemment, Hyena, un modèle de langage massif basé sur des convolutions implicites, a démontré une qualité équivalente à l'attention tout en permettant des contextes plus longs et une complexité temporelle réduite. En exploitant les nouvelles capacités de longue portée de Hyena, nous présentons HyenaDNA, un modèle de fondation génomique pré-entraîné sur le génome de référence humain avec des contextes allant jusqu'à 1 million de tokens au niveau du nucléotide unique, soit une augmentation jusqu'à 500 fois par rapport aux modèles denses basés sur l'attention précédents. HyenaDNA évolue de manière sous-quadratique avec la longueur de la séquence (s'entraînant jusqu'à 160 fois plus vite qu'un Transformer), utilise des tokens au niveau du nucléotide unique et dispose d'un contexte global complet à chaque couche. Nous explorons ce que des contextes plus longs permettent, y compris la première utilisation de l'apprentissage en contexte en génomique pour une adaptation simple à de nouvelles tâches sans mise à jour des poids du modèle pré-entraîné. Sur les benchmarks affinés du Nucleotide Transformer, HyenaDNA atteint l'état de l'art (SotA) sur 12 des 17 ensembles de données en utilisant un modèle avec des ordres de grandeur moins de paramètres et de données de pré-entraînement. Sur les GenomicBenchmarks, HyenaDNA surpasse le SotA sur les 8 ensembles de données en moyenne de +9 points de précision.

English

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyenas new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level, an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics for simple adaptation to novel tasks without updating pretrained model weights. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 17 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on all 8 datasets on average by +9 accuracy points.

HyenaDNA : Modélisation de séquences génomiques à longue portée avec une résolution au niveau du nucléotide unique

HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

Résumé

Support