GENEB: Por que os modelos genômicos são difíceis de comparar

Resumo

O progresso em modelos genômicos de base é difícil de avaliar devido a benchmarks fragmentados, protocolos de avaliação incompatíveis e relatos específicos por tarefa. Como resultado, alegações de superioridade ou generalidade entre modelos frequentemente não são diretamente comparáveis. Apresentamos o GENEB, um benchmark diagnóstico em larga escala que avalia representações congeladas de 40 modelos genômicos de base em 100 tarefas abrangendo 13 categorias funcionais, sob um protocolo unificado baseado em sondagem, incluindo regimes de poucos exemplos. O GENEB possibilita comparação controlada entre escala do modelo, arquitetura, tokenização e dados de pré-treinamento, expondo explicitamente compensações no nível de cada tarefa. Nossa análise mostra que classificações agregadas são instáveis: as posições dos modelos variam acentuadamente entre categorias de tarefas, a escala proporciona ganhos modestos e inconsistentes, e o alinhamento arquitetural e de pré-treinamento frequentemente supera o número de parâmetros. Esses resultados destacam limitações das práticas atuais de avaliação e posicionam o GENEB como uma estrutura de referência para comparação fundamentada e seleção de modelos com consciência de categoria em aprendizado de máquina genômico.

English

Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.