GENEB: Waarom genomische modellen moeilijk te vergelijken zijn

Samenvatting

Vooruitgang in genomische funderingsmodellen is moeilijk te beoordelen vanwege gefragmenteerde benchmarks, incompatibele evaluatieprotocollen en taakspecifieke rapportage. Hierdoor zijn claims van superioriteit of algemeenheid over modellen heen vaak niet direct vergelijkbaar. We introduceren GENEB, een grootschalige diagnostische benchmark die bevroren representaties van 40 genomische funderingsmodellen evalueert over 100 taken verspreid over 13 functionele categorieën, onder een uniform, op probing gebaseerd protocol, inclusief few-shot-regimes. GENEB maakt gecontroleerde vergelijking mogelijk op het gebied van modelschaal, architectuur, tokenisatie en pretrainingdata, terwijl taakniveau-afwegingen expliciet worden blootgelegd. Onze analyse toont aan dat geaggregeerde ranglijsten instabiel zijn: modelrangschikkingen variëren sterk per taakcategorie, schaal levert slechts bescheiden en inconsistente winsten op, en architectuur- en pretraining-alignment weegt vaak zwaarder dan het aantal parameters. Deze resultaten benadrukken de beperkingen van huidige evaluatiepraktijken en positioneren GENEB als een referentiekader voor principieel vergelijken en categoriebewuste modelselectie in genomisch machinaal leren.

English

Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.