Faire Aufteilungen verändern die Bestenliste: CHANRG zeigt begrenzte Generalisierung bei der Vorhersage von RNA-Sekundärstrukturen

Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

March 20, 2026

Autoren: Zhiyuan Chen, Zhenfeng Deng, Pan Deng, Yue Liao, Xiu Su, Peng Ye, Xihui Liu

cs.AI

Zusammenfassung

Die präzise Vorhersage der RNA-Sekundärstruktur bildet die Grundlage für die Transkriptomannotation, die mechanistische Analyse nichtkodierender RNAs und das Design von RNA-Therapeutika. Jüngste Fortschritte durch Deep Learning und RNA-Foundation-Modelle sind schwer zu interpretieren, da aktuelle Benchmarks die Generalisierbarkeit über RNA-Familien hinweg möglicherweise überschätzen. Wir stellen die Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG) vor – einen Benchmark mit 170.083 strukturell nicht-redundanten RNAs, die aus über 10 Millionen Sequenzen in Rfam 15.0 durch strukturbewusste Deduplizierung, genomaware Aufteilungsstrategien und multiskalige Strukturbewertung kuratiert wurden. Unter 29 Vorhersagemodellen erzielten Foundation-Modelle die höchste Genauigkeit auf den Hold-out-Daten, verloren diesen Vorteil bei Out-of-Distribution-Daten jedoch fast vollständig, während strukturierte Decoder und direkte neuronale Prädiktoren deutlich robuster blieben. Diese Diskrepanz bestand auch nach Kontrolle der Sequenzlänge und spiegelte sowohl verringerte Strukturabdeckung als auch fehlerhafte höhere Verdrahtungsmuster wider. CHANRG zusammen mit einem paddingfreien, symmetriebewussten Auswertungsstack bietet ein strengeres und batchinvariantes Framework zur Entwicklung von RNA-Strukturprädiktoren mit nachweisbarer Out-of-Distribution-Robustheit.

English

Accurate prediction of RNA secondary structure underpins transcriptome annotation, mechanistic analysis of non-coding RNAs, and RNA therapeutic design. Recent gains from deep learning and RNA foundation models are difficult to interpret because current benchmarks may overestimate generalization across RNA families. We present the Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG), a benchmark of 170{,}083 structurally non-redundant RNAs curated from more than 10 million sequences in Rfam~15.0 using structure-aware deduplication, genome-aware split design and multiscale structural evaluation. Across 29 predictors, foundation-model methods achieved the highest held-out accuracy but lost most of that advantage out of distribution, whereas structured decoders and direct neural predictors remained markedly more robust. This gap persisted after controlling for sequence length and reflected both loss of structural coverage and incorrect higher-order wiring. Together, CHANRG and a padding-free, symmetry-aware evaluation stack provide a stricter and batch-invariant framework for developing RNA structure predictors with demonstrable out-of-distribution robustness.