RIBOSPAN: 다양한 RNA 모델링을 위한 장문맥 RNA 파운데이션 모델

초록

전장 RNA, 특히 메신저 RNA는 종종 기존 RNA 기반 모델의 사전 학습에 사용된 컨텍스트 길이를 초과하여, 단일 염기 해상도에서의 완전한 전사체 모델링을 제한한다. 우리는 최대 10,240 nt의 컨텍스트 길이로 원천적으로 사전 학습된 16억 1천만 파라미터 규모의 양방향 RNA 기반 모델인 RIBOSPAN을 제시한다. RIBOSPAN은 밀집 양방향 자기-어텐션, 단일 염기 토큰화, 그리고 어텐션-격리 시퀀스 패킹을 결합하여 완전한 장편 RNA의 고해상도 모델링을 가능하게 한다. 우리는 염기 재구성, 통제된 장기 컨텍스트 표현 벤치마크, 그리고 동결 표현 RNA 유형 분석을 통해 모델을 평가한다. 원천적인 10K 사전 학습은 10,240 토큰에서 강력한 재구성을 유지하며, 40% 마스킹을 적용한 지속 사전 학습은 표현 품질을 보존하면서 심한 손상 하에서의 복원을 개선한다. 장기 컨텍스트 벤치마크는 또한 원천적인 10K 모델이 강력한 컨텍스트 반응성과 컨텍스트 특이적 표현 분리를 유지하면서, 교란 유발 표현 변화를 고도로 국소화된 상태로 유지함을 보여준다. 추론 시 YaRN 스케일링은 단기 컨텍스트 모델의 직접 외삽으로 인해 소실된 컨텍스트 조직화의 상당 부분을 복구하지만, 원위부 표현 확산을 실질적으로 더 크게 유도한다. 동결 표현 평가는 또한 다양한 RNA 유형 전반에 걸쳐 RIBOSPAN이 가장 강력한 전반적 성능을 달성하고 장편 RNA에서 뚜렷한 우위를 유지함으로써, 최첨단 RNA 표현 품질을 입증한다. 동일한 백본을 기반으로, 우리는 단백질 보존 코딩 서열 최적화를 위한 동의 코돈 확산을 포함하여, 전장 mRNA 생성 및 재설계를 위한 다차원 조건부 이산 확산 프레임워크를 개발한다. 종합적으로, RIBOSPAN은 전이 가능한 RNA 표현 학습과 전장 전사체 mRNA 설계를 위한 강력한 장기 컨텍스트 기반을 구축한다.

English

Full-length RNAs, particularly messenger RNAs, often exceed the context lengths used to pretrain existing RNA foundation models, limiting complete-transcript modeling at single-nucleotide resolution. We present RIBOSPAN, a 1.61-billion-parameter bidirectional RNA foundation model natively pretrained with context lengths up to 10,240 nt. RIBOSPAN combines dense bidirectional self-attention, single-nucleotide tokenization, and attention-isolated sequence packing to enable high-resolution modeling of complete long RNAs. We evaluate the model through nucleotide reconstruction, a controlled long-context representation benchmark, and frozen RNA-type representation analysis. Native 10K pretraining preserves strong reconstruction at 10,240 tokens, while continued pretraining with 40% masking improves recovery under heavy corruption while preserving representation quality. The long-context benchmark further shows that native 10K models maintain strong contextual responsiveness and context-specific representation separation while keeping perturbation-induced representation changes highly localized. Inference-time YaRN scaling recovers much of the contextual organization lost by direct extrapolation of short-context models, but induces substantially greater distal representation diffusion. Frozen-representation evaluations further demonstrate state-of-the-art RNA representation quality, with RIBOSPAN achieving the strongest overall performance across diverse RNA types and retaining a clear advantage on long RNAs. Building on the same backbone, we develop a multidimensionally conditioned discrete-diffusion framework for full-length mRNA generation and redesign, including synonymous-codon diffusion for protein-preserving CDS optimization. Together, RIBOSPAN establishes a powerful long-context foundation for transferable RNA representation learning and full-transcript mRNA design.