公平な分割がリーダーボードを一変：CHANRGが明らかにしたRNA二次構造予測における限定的な一般化性能

要旨

RNA二次構造の正確な予測は、トランスクリプトームアノテーション、非コードRNAの機能的解析、およびRNA治療薬設計の基盤をなす。深層学習とRNA基盤モデルによる近年の進展は、現在のベンチマークがRNAファミリー間の汎化性能を過大評価している可能性があるため、解釈が困難である。本研究では、構造を考慮した重複排除、ゲノムを考慮した分割設計、マルチスケール構造評価を用いて、Rfam 15.0の1000万以上の配列から選定された170,083の構造的に非冗長なRNAからなるベンチマーク、Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG) を提案する。29種類の予測手法を比較した結果、基盤モデル手法はホールドアウトデータでは最高精度を達成したが、分布外データではその優位性の大半を失った。一方、構造化デコーダーと直接的なニューラル予測手法は顕著に高い頑健性を維持した。この精度差は配列長を統制した後も持続し、構造カバレッジの低下と高次構造の誤った接続の両方を反映していた。CHANRGと、パディングを必要とせず対称性を考慮した評価スタックを組み合わせることで、分布外頑健性が実証可能なRNA構造予測手法を開発するための、より厳格でバッチ不変なフレームワークを提供する。

English

Accurate prediction of RNA secondary structure underpins transcriptome annotation, mechanistic analysis of non-coding RNAs, and RNA therapeutic design. Recent gains from deep learning and RNA foundation models are difficult to interpret because current benchmarks may overestimate generalization across RNA families. We present the Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG), a benchmark of 170{,}083 structurally non-redundant RNAs curated from more than 10 million sequences in Rfam~15.0 using structure-aware deduplication, genome-aware split design and multiscale structural evaluation. Across 29 predictors, foundation-model methods achieved the highest held-out accuracy but lost most of that advantage out of distribution, whereas structured decoders and direct neural predictors remained markedly more robust. This gap persisted after controlling for sequence length and reflected both loss of structural coverage and incorrect higher-order wiring. Together, CHANRG and a padding-free, symmetry-aware evaluation stack provide a stricter and batch-invariant framework for developing RNA structure predictors with demonstrable out-of-distribution robustness.

公平な分割がリーダーボードを一変：CHANRGが明らかにしたRNA二次構造予測における限定的な一般化性能

Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

要旨

Support