PlantMarkerBench : Un benchmark multi-espèces pour le raisonnement sur les marqueurs végétaux fondé sur des preuves

Résumé

Les gènes marqueurs spécifiques de type cellulaire sont fondamentaux en biologie végétale, mais les ressources existantes reposent principalement sur des bases de données curées ou des études à haut débit sans modéliser explicitement les preuves à l'appui issues de la littérature scientifique. Nous présentons PlantMarkerBench, un référentiel multi-espèces pour évaluer l'interprétation des preuves de marqueurs végétaux ancrée dans la littérature, à partir d'articles biologiques en texte intégral. PlantMarkerBench est construit à l'aide d'un pipeline de curation modulaire intégrant la recherche documentaire à grande échelle, la recherche hybride, l'ancrage biologique adapté à l'espèce, l'extraction structurée de preuves et une révision humaine ciblée. Le référentiel couvre quatre espèces végétales — Arabidopsis, maïs, riz et tomate — et contient 5 550 instances de preuves au niveau de la phrase, annotées pour la validité preuve-marqueur, le type de preuve et la force de soutien. Nous définissons deux tâches de référence : déterminer si une phrase candidate fournit une preuve de marqueur valide pour un couple gène-type cellulaire, et classer la preuve dans les catégories expression, localisation, fonction, indirecte ou négative. Nous évaluons divers modèles de langage à poids ouverts et à code source fermé, sur différentes espèces et stratégies de prompt. Bien que les modèles de pointe obtiennent des performances relativement élevées sur les preuves d'expression directe, les performances chutent considérablement sur les preuves fonctionnelles, indirectes et à faible soutien, la confusion entre types de preuves apparaissant comme un mode de défaillance dominant. Les modèles à poids ouverts présentent en outre des taux de faux positifs élevés dans des contextes biologiques ambigus. PlantMarkerBench fournit un cadre d'évaluation reproductible et exigeant pour l'attribution de preuves biologiques ancrée dans la littérature, et soutient la recherche future sur l'extraction fiable d'informations scientifiques et la biologie végétale assistée par l'IA.

English

Cell-type-specific marker genes are fundamental to plant biology, yet existing resources primarily rely on curated databases or high-throughput studies without explicitly modeling the supporting evidence found in scientific literature. We introduce PlantMarkerBench, a multi-species benchmark for evaluating literature-grounded plant marker evidence interpretation from full-text biological papers. PlantMarkerBench is constructed using a modular curation pipeline integrating large-scale literature retrieval, hybrid search, species-aware biological grounding, structured evidence extraction, and targeted human review. The benchmark spans four plant species -- Arabidopsis, maize, rice, and tomato -- and contains 5,550 sentence-level evidence instances annotated for marker-evidence validity, evidence type, and support strength. We define two benchmark tasks: determining whether a candidate sentence provides valid marker evidence for a gene-cell-type pair, and classifying the evidence into expression, localization, function, indirect, or negative categories. We benchmark diverse open-weight and closed-source language models across species and prompting strategies. Although frontier models achieve relatively strong performance on direct expression evidence, performance drops substantially on functional, indirect, and weak-support evidence, with evidence-type confusion emerging as a dominant failure mode. Open-weight models additionally exhibit elevated false-positive rates under ambiguous biological contexts. PlantMarkerBench provides a challenging and reproducible evaluation framework for literature-grounded biological evidence attribution and supports future research on trustworthy scientific information extraction and AI-assisted plant biology.