HyenaDNA：単一塩基解像度での長距離ゲノム配列モデリング

要旨

ゲノム（DNA）配列は、遺伝子調節やタンパク質合成のための膨大な情報をコードしています。自然言語モデルと同様に、研究者たちはゲノミクスにおける基盤モデルを提案し、ラベルなしのゲノムデータから一般化可能な特徴を学習し、その後、調節要素の識別などの下流タスクにファインチューニングすることを目指しています。アテンションの二次スケーリングのため、これまでのTransformerベースのゲノムモデルは512から4kトークンをコンテキストとして使用しており（ヒトゲノムの0.001%未満）、DNA内の長距離相互作用のモデリングが大幅に制限されていました。さらに、これらの手法はトークナイザーを使用して意味のあるDNA単位を集約するため、単一ヌクレオチドの解像度が失われ、微妙な遺伝的変異が単一ヌクレオチド多型（SNP）を介してタンパク質機能を完全に変える可能性があります。最近、暗黙の畳み込みに基づく大規模言語モデルであるHyenaが、品質においてアテンションに匹敵しつつ、より長いコンテキスト長と低い時間計算量を可能にすることが示されました。Hyenaの新しい長距離能力を活用して、我々はHyenaDNAを提案します。これは、ヒト参照ゲノムに対して最大100万トークンのコンテキスト長で単一ヌクレオチドレベルで事前学習されたゲノム基盤モデルであり、これまでの密なアテンションベースのモデルに比べて最大500倍の増加です。HyenaDNAは配列長に対して準二次的にスケーリングし（Transformerに比べて最大160倍高速に学習）、単一ヌクレオチドトークンを使用し、各層で完全なグローバルコンテキストを持ちます。我々は、より長いコンテキストが可能にするもの、特にゲノミクスにおける初めてのインコンテキスト学習を探求し、事前学習済みモデルの重みを更新せずに新しいタスクに適応することを可能にします。Nucleotide Transformerのファインチューニングベンチマークにおいて、HyenaDNAは17のデータセットのうち12で、桁違いに少ないパラメータと事前学習データを使用して最先端（SotA）を達成しました。GenomicBenchmarksでは、HyenaDNAは8つのデータセットすべてで平均+9の精度ポイントでSotAを上回りました。

English

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyenas new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level, an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics for simple adaptation to novel tasks without updating pretrained model weights. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 17 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on all 8 datasets on average by +9 accuracy points.

HyenaDNA：単一塩基解像度での長距離ゲノム配列モデリング

HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

要旨

Support