RIBOSPAN: 汎用RNAモデリングのための長文脈RNA基盤モデル

要旨

全長RNA、特にメッセンジャーRNA（mRNA）は、既存のRNA基盤モデルの事前学習に用いられるコンテキスト長を超えることが多く、単一ヌクレオチド分解能での完全転写産物のモデリングが制限されている。我々は、最大10,240 ntのコンテキスト長でネイティブに事前学習された、16.1億パラメータの双方向RNA基盤モデルRIBOSPANを提案する。RIBOSPANは、高密度双方向自己注意機構、単一ヌクレオチドのトークン化、および注意分離型シーケンスパッキングを組み合わせることで、完全な長鎖RNAの高分解能モデリングを可能にする。我々は、ヌクレオチド再構成、制御された長コンテキスト表現ベンチマーク、および凍結RNA型表現解析を通じて本モデルを評価する。ネイティブな10K事前学習は10,240トークンでの強力な再構成を維持し、一方、40%マスキングによる継続事前学習は、表現品質を維持しつつ、重度の劣化下での回復を改善する。長コンテキストベンチマークはさらに、ネイティブな10Kモデルが、摂動によって誘発される表現変化を高度に局所化したまま、強い文脈応答性と文脈特異的な表現分離を維持することを示す。推論時のYaRNスケーリングは、短コンテキストモデルの直接外挿によって失われた文脈組織の多くを回復するが、遠位表現の拡散を大幅に引き起こす。凍結表現評価はさらに、最先端のRNA表現品質を実証し、RIBOSPANは多様なRNAタイプにわたって全体的に最強の性能を達成し、長鎖RNAにおいて明確な優位性を保持する。同じバックボーンに基づき、我々は全長mRNAの生成と再設計のための多次元条件付き離散拡散フレームワークを開発する。これには、タンパク質を保存するCDS最適化のための同義コドン拡散が含まれる。まとめると、RIBOSPANは、転移可能なRNA表現学習と完全転写産物mRNA設計のための強力な長コンテキスト基盤を確立する。

English

Full-length RNAs, particularly messenger RNAs, often exceed the context lengths used to pretrain existing RNA foundation models, limiting complete-transcript modeling at single-nucleotide resolution. We present RIBOSPAN, a 1.61-billion-parameter bidirectional RNA foundation model natively pretrained with context lengths up to 10,240 nt. RIBOSPAN combines dense bidirectional self-attention, single-nucleotide tokenization, and attention-isolated sequence packing to enable high-resolution modeling of complete long RNAs. We evaluate the model through nucleotide reconstruction, a controlled long-context representation benchmark, and frozen RNA-type representation analysis. Native 10K pretraining preserves strong reconstruction at 10,240 tokens, while continued pretraining with 40% masking improves recovery under heavy corruption while preserving representation quality. The long-context benchmark further shows that native 10K models maintain strong contextual responsiveness and context-specific representation separation while keeping perturbation-induced representation changes highly localized. Inference-time YaRN scaling recovers much of the contextual organization lost by direct extrapolation of short-context models, but induces substantially greater distal representation diffusion. Frozen-representation evaluations further demonstrate state-of-the-art RNA representation quality, with RIBOSPAN achieving the strongest overall performance across diverse RNA types and retaining a clear advantage on long RNAs. Building on the same backbone, we develop a multidimensionally conditioned discrete-diffusion framework for full-length mRNA generation and redesign, including synonymous-codon diffusion for protein-preserving CDS optimization. Together, RIBOSPAN establishes a powerful long-context foundation for transferable RNA representation learning and full-transcript mRNA design.