Eerlijke verdeling keert het klassement om: CHANRG toont beperkte generalisatie in RNA-secundairestructuurvoorspelling

Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

March 20, 2026

Auteurs: Zhiyuan Chen, Zhenfeng Deng, Pan Deng, Yue Liao, Xiu Su, Peng Ye, Xihui Liu

cs.AI

Samenvatting

Accurate voorspelling van de RNA-secundaire structuur vormt de basis voor transcriptoomanannotatie, mechanistische analyse van niet-coderende RNA's en het ontwerp van RNA-therapieën. Recente vooruitgang door deep learning en RNA-foundationmodellen is moeilijk te interpreteren omdat huidige benchmarks de generalisatie over RNA-families heen mogelijk overschatten. Wij presenteren de Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG), een benchmark van 170.083 structureel niet-redundante RNA's, samengesteld uit meer dan 10 miljoen sequenties in Rfam 15.0 met behulp van structuurbewuste deduplicatie, genoombewuste splitsingsopzet en multischaal structurele evaluatie. Over 29 voorspellingsmethoden heen behaalden foundationmodel-methoden de hoogste nauwkeurigheid op de testset, maar verloren het grootste deel van dat voordeel buiten de trainingsdistributie, terwijl gestructureerde decoders en directe neurale voorspellers aanzienlijk robuuster bleven. Deze kloof bleef bestaan na correctie voor sequentielengte en weerspiegelde zowel verlies van structurele dekking als incorrecte hogere-orde-verbindingen. Samen bieden CHANRG en een evaluatiestack zonder opvulling en met symmetriebewustzijn een strenger en batch-invariant raamwerk voor de ontwikkeling van RNA-structuurvoorspellers met aantoonbare robuustheid buiten de trainingsdistributie.

English

Accurate prediction of RNA secondary structure underpins transcriptome annotation, mechanistic analysis of non-coding RNAs, and RNA therapeutic design. Recent gains from deep learning and RNA foundation models are difficult to interpret because current benchmarks may overestimate generalization across RNA families. We present the Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG), a benchmark of 170{,}083 structurally non-redundant RNAs curated from more than 10 million sequences in Rfam~15.0 using structure-aware deduplication, genome-aware split design and multiscale structural evaluation. Across 29 predictors, foundation-model methods achieved the highest held-out accuracy but lost most of that advantage out of distribution, whereas structured decoders and direct neural predictors remained markedly more robust. This gap persisted after controlling for sequence length and reflected both loss of structural coverage and incorrect higher-order wiring. Together, CHANRG and a padding-free, symmetry-aware evaluation stack provide a stricter and batch-invariant framework for developing RNA structure predictors with demonstrable out-of-distribution robustness.