GENEB: Warum genomische Modelle schwer zu vergleichen sind

Zusammenfassung

Fortschritte bei genomischen Grundlagenmodellen sind aufgrund fragmentierter Benchmarks, inkompatibler Evaluationsprotokolle und aufgabenspezifischer Berichterstattung schwer zu bewerten. Daher sind Behauptungen über die Überlegenheit oder Allgemeingültigkeit verschiedener Modelle oft nicht direkt vergleichbar. Wir stellen GENEB vor, einen groß angelegten diagnostischen Benchmark, der eingefrorene Repräsentationen von 40 genomischen Grundlagenmodellen über 100 Aufgaben aus 13 funktionalen Kategorien unter einem einheitlichen, probing-basierten Protokoll bewertet, einschließlich Few-Shot-Regimen. GENEB ermöglicht kontrollierte Vergleiche hinsichtlich Modellskalierung, Architektur, Tokenisierung und Vortrainingsdaten und legt gleichzeitig aufgabenspezifische Zielkonflikte offen. Unsere Analyse zeigt, dass aggregierte Ranglisten instabil sind: Die Modellrangfolgen variieren stark zwischen Aufgabekategorien, die Skalierung liefert nur bescheidene und inkonsistente Verbesserungen, und die Abstimmung von Architektur und Vortraining übertrifft häufig die Parameteranzahl. Diese Ergebnisse verdeutlichen die Grenzen aktueller Evaluationspraktiken und positionieren GENEB als Referenzrahmen für prinzipielle Vergleiche und kategoriebewusste Modellauswahl im genomischen maschinellen Lernen.

English

Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.