Divisões justas viram a tabela de classificação: CHANRG revela generalização limitada na previsão de estrutura secundária de RNA

Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

March 20, 2026

Autores: Zhiyuan Chen, Zhenfeng Deng, Pan Deng, Yue Liao, Xiu Su, Peng Ye, Xihui Liu

cs.AI

Resumo

A previsão precisa da estrutura secundária do RNA sustenta a anotação do transcriptoma, a análise mecanicista de RNAs não codificantes e o desenvolvimento de terapêuticas baseadas em RNA. Os avanços recentes provenientes de aprendizagem profunda e modelos de base para RNA são difíceis de interpretar, pois os atuais benchmarks podem superestimar a generalização entre famílias de RNA. Apresentamos a Anotação Hierárquica Abrangente de Grupos de RNA não Codificante (CHANRG), um benchmark de 170.083 RNAs estruturalmente não redundantes, curados a partir de mais de 10 milhões de sequências do Rfam 15.0 utilizando desduplicação com consciência estrutural, divisão de dados com consciência genómica e avaliação estrutural multiescala. Entre 29 preditores, os métodos baseados em modelos de base alcançaram a maior precisão em dados retidos (held-out), mas perderam a maior parte dessa vantagem fora da distribuição, enquanto os descodificadores estruturados e os preditores neurais diretos permaneceram notavelmente mais robustos. Esta lacuna persistiu após o controlo do comprimento da sequência e refletiu tanto a perda de cobertura estrutural quanto a fiação incorreta de estruturas de ordem superior. Em conjunto, o CHANRG e uma pilha de avaliação sem preenchimento (padding) e com consciência de simetria fornecem uma estrutura mais rigorosa e invariante a lotes (batch-invariant) para o desenvolvimento de preditores de estrutura de RNA com robustez fora da distribuição demonstrável.

English

Accurate prediction of RNA secondary structure underpins transcriptome annotation, mechanistic analysis of non-coding RNAs, and RNA therapeutic design. Recent gains from deep learning and RNA foundation models are difficult to interpret because current benchmarks may overestimate generalization across RNA families. We present the Comprehensive Hierarchical Annotation of Non-coding RNA Groups (CHANRG), a benchmark of 170{,}083 structurally non-redundant RNAs curated from more than 10 million sequences in Rfam~15.0 using structure-aware deduplication, genome-aware split design and multiscale structural evaluation. Across 29 predictors, foundation-model methods achieved the highest held-out accuracy but lost most of that advantage out of distribution, whereas structured decoders and direct neural predictors remained markedly more robust. This gap persisted after controlling for sequence length and reflected both loss of structural coverage and incorrect higher-order wiring. Together, CHANRG and a padding-free, symmetry-aware evaluation stack provide a stricter and batch-invariant framework for developing RNA structure predictors with demonstrable out-of-distribution robustness.