GENEB: Por qué los modelos genómicos son difíciles de comparar

Resumen

El progreso en los modelos fundacionales genómicos es difícil de evaluar debido a la fragmentación de los puntos de referencia, protocolos de evaluación incompatibles y reportes específicos por tarea. Como resultado, las afirmaciones de superioridad o generalidad entre modelos a menudo no son directamente comparables. Presentamos GENEB, un punto de referencia diagnóstico a gran escala que evalúa representaciones congeladas de 40 modelos fundacionales genómicos en 100 tareas que abarcan 13 categorías funcionales, bajo un protocolo unificado basado en sondeo, incluyendo regímenes de pocas muestras. GENEB permite una comparación controlada entre escalas de modelo, arquitecturas, tokenizaciones y datos de preentrenamiento, exponiendo explícitamente las compensaciones a nivel de tarea. Nuestro análisis muestra que las clasificaciones agregadas son inestables: los rankings de modelos varían drásticamente entre categorías de tareas, la escala proporciona ganancias modestas e inconsistentes, y la alineación arquitectónica y de preentrenamiento frecuentemente supera al número de parámetros. Estos resultados destacan las limitaciones de las prácticas de evaluación actuales y posicionan a GENEB como un marco de referencia para la comparación fundamentada y la selección de modelos con conciencia de categoría en el aprendizaje automático genómico.

English

Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.